Wissen, was gut ist. Studieren in Chemnitz.

FAQ - Oft gestellte Fragen zu Speicherdiensten

Organisation

Wofür das Ganze?

Das URZ setzt für Speicherdienste zentrale Mittel ein. Da wir Daten prinzipiell im mehreren Ebenen redundant speichern (Schutz vor Datenverlust bei Ausfall von Hardkomponenten oder bei Softwarefehlern) und zum Schutz vor Flüchtigkeits- oder Bedienfehlern Datensicherung in mehreren Generationen betreiben, ist der technische Aufwand für die Speicherung von Daten relativ hoch und bindet erhebliche Ressourcen. Um zwischen dem Grundbedarf für Lehre und Forschung und zusätzlichem Bedarf für größere Forschungsvorhaben o.dgl. zu unterscheiden, wurde eine Analyse durchgeführt und der Grundbedarf ermittelt.

Das Entgelt für Kapazitäten des zusätzlichen Bedarfs ist vor allem als Steuerungsinstrument gedacht, die realen Aufwendungen werden dadurch nicht ersetzt. Damit soll einerseits der bewusste und verantwortungsvolle Umgang mit Ressourcen gefördert und andererseits ein Beitrag zur Refinanzierung geleistet werden, um so einen bedarfsgrechten Dienstumfang abzusichern.

Es geht also nicht darum, jedem Universitätsangehörigen ein Speicherplatzkontigent zuzuweisen, das dann möglichst gut ausgelastet werden soll. Vielmehr soll die Arbeit von Gruppen (Mitarbeiter einer Professur, ...) unterstützt werden. Die festgelegten Limits reflektieren die Erfahrungen mit der Ressourcennutzung bei unlimitierter Vergabe. Es wird nicht davon ausgegangen, dass die Einführung von Limits für die Ressourcenvergabe zu Veränderungen des Bedarfs führen. Die Limits werden jährlich angepasst.

Wie wird der Umfang der eingesetzten Speicherressourcen ermittelt?

Für den Dienst Filesystem/OpenAFS wird unterschieden:

  • abgelegte Datenmenge
    Anzahl der 1KB-Blöcke, die benötigt wird, um alle Dateien eines Volumes zu speichern, z.B. alle Dateien Ihres HOME-Verzeichnisses
  • eingesetzte Speicherressourcen
    abgelegte Datenmenge plus aktuell benutzte Kapazität für deren Datensicherung (siehe unten: Wieviel Speicherplatz wird für mein HOME-Verzeichnis oder ein Projekt-Filesystem wirklich eingesetzt?)

Für den Backupdienst ergibt sich der Umfang der eingesetzten Speicherressourcen aus der Anzahl der 1KB-Blöcke, die benötigt wird, um die gesicherten Dateien zu speichern, die von den angemeldeten Filesystemen übernommen wurden.

Wo kann ich den Ressourcenverbrauch meiner Struktureinheit einsehen?

Über den Link "Nutzung der URZ-Speicherdienste ... " in Management of User and Services: Persönliche Daten können sich alle Mitarbeiter über die Nutzung der Speicherressourcen ihrer Struktureinheit informieren. Wenn Sie zu mehreren Struktureinheiten gehören, finden Sie auf dieser Seite mehrere Links mit den Angaben der jeweiligen Struktureinheit.

Dort finden Sie die Angaben zum Ressourcenverbrauch der folgenden Dienste und die Angaben zum Durchschnittsverbrauch pro Mitarbeiter der Struktureinheit. Sie können dort ebenfalls erkennen, welche Personen zu Ihrer Struktureinheit gehören.

  • Filesystem/OpenAFS
    • HOME-Verzeichnisse (user)
    • Projekt-Verzeichnisse
      • project (mit Datensicherung Phase 2)
      • ndp (mit Datensicherung Phase 1)
  • Backupdienst/AMANDA

Die Daten werden einmal täglich übernommen.

Welche Personen gehören zu meiner Struktureinheit und warum bzw. warum gehört eine bestimmte Person nicht zu meiner Struktureinheit?

Die Informationen über die Zugehörigkeit einer Person zu einer oder mehreren Struktureinheiten übernimmt das URZ von der Zentralen Universitätsverwaltung. Das URZ hat auf die Aktualität und Korrektheit dieser Daten keinen Einfluss.

Ich habe zwei halbe Stellen bei unterschiedlichen Struktureinheiten, zu welcher Struktureinheit werden die für mein HOME-Verzeichnis eingesetzten Ressourcen hinzugezählt?

Zu beiden Struktureinheiten, da wir nicht erkennen können, welchen inhaltlichen Bezug die abgelegten Daten haben. Für die Berechnung des Durchschnitts wird allerdings nicht zwischen Teilzeit- und Vollzeitstellen unterschieden.

Wieso stimmt die Darstellung der Struktureinheit nicht mit dem offiziellen Kostenstellen- und Strukturverzeichnis überein?

Das offizielle Kostenstellen- und Strukturverzeichnis ist als Basis für den Vergleich des Ressourcenverbrauchs nur bedingt geeignet. Es werden darin insgesamt ca. 400 Struktureinheiten unterschieden, von denen das URZ diejenigen identifiziert hat, die hinsichtlich der Ressourcennutzung miteinander vergleichbar sind. Sonst würde der Ressourcenverbrauch einer Professur mit dem einer gesamten Fakultät oder einer einzelnen Werkstatt verglichen werden.

Wir unterscheiden:

  • 175 Professuren oder ähnliche Struktureinheiten (z.B. ZfM?)
  • 7 Fakultäten (alle - außer Professuren - übrigen Struktureinheiten der Fakultät)
  • 6 Zentrale Einrichtungen (Universitätsbibliothek, Universitätsarchiv, Universitätsrechenzentrum, ...)
  • 5 Dezernate der Zentralen Universitätsverwaltung
  • Kanzlerbereich
  • Rektorbereich
  • Prorektoren
  • Kuratorium, Konzil, Senat, Gremien
  • Organe der Studentenschaft
  • Personalvertretungen, Beauftragte

Im Zusammenhang der Speichernutzung wird jede dieser Struktureinheiten als ein Kunde betrachtet.

Die Ressourcennutzung eines nicht genannten Knotens oder Blattes des Strukturbaums wird somit jener übergeordneten Struktur angerechtet, die gemäß dieser Betrachtungsweise den Kunden darstellt.

Was bedeuten die festgelegten Limits?

Die Limits sind Durchschnittsangaben. Obwohl die Limits pro Mitarbeiter angegeben sind, bedeuten sie nicht, dass eine einzelne Person nicht mehr Speicherressourcen ohne Entgelt nutzen kann als das Limit für einen Mitarbeiter seiner Struktureinheit angibt.

Das Limit der Struktureinheit ergibt sich also aus Anzahl der Mitarbeiter der Struktureinheit mal Limit pro Mitarbeiter.

Beispiel: Bei einem Limit von 100 GB pro Mitarbeiter und 20 Mitarbeitern der Struktureinheit, können also insgesamt 2 TB von den Mitarbeitern der Struktureinheit als Grundbedarf ohne Entgelt genutzt werden. Im Extremfall kann dabei einer der Mitarbeiter den Umfang von 1980 GB verantworten, wenn die anderen Mitarbeiter jeweils nur etwa 1GB benötigen.

Filesystem/OpenAFS

Wieviel Speicherplatz wird für mein HOME-Verzeichnis oder ein Projekt-Filesystem wirklich eingesetzt?

Die Daten werden in sog. Volumes gespeichert:

  • Read/Write-Volume (RW-Volume)
    • darin sind die aktuellen Daten gespeichert - wir verwenden den Begriff abgelegte Datenmenge, um den Umfang der darin gespeicherten Daten zu beschreiben (siehe oben)
    • dieses Volume bildet Ihr HOME-Verzeichnis oder ein konkretes Projekt-Filesystem
  • Readonly-Volume (RO-Volume)
    • eine Kopie des RW-Volumes, die jede Nacht aktualisiert wird
    • diese Kopie befindet sich auf einem zweiten, vom RW-Volume unabhängigen Datenträger
    • es wird noch einmal genau soviel Speicherplatz benötigt, wie für die Speicherung der Daten des RW-Volumes erforderlich ist
    • dieses Volume finden Sie
      • für HOME-Verzeichznisse über den Namen BACKUP/YESTERDAY/ ausgehend von Ihrem HOME-Verzeichnis
      • für Projekt-Verzeichnisse über den Namen /afs/tu-chemnitz.de/project/YESTERDAY
  • Backup-Volumes (BK-Volume)
    • ein sog. Snapshot des RW-Volumes, jedes Wochenende aktualisiert
    • das ist keine echte Kopie, sondern ein sog. Clone des RW-Volumes
    • für dessen Speicherung ist nur soviel Speicherplatz erforderlich, wie die Unterschiede zwischen dem RW-Volume und dem Backup-Volume benötigen
    • dieser Speicherplatz wird in die Berechnung nicht eingeschlossen

Für alle HOME-Verzeichnisse und alle Projekt-Volumes mit einer Quota bis zu 50GB werden zusätzlich noch Dumps auf einem dritten, vom RW- und RO-Volume unabhängigen Speichersystem abgelegt. Diese Dumps werden nach folgendem Regime angefertigt:

  • am ersten Wochenende eines Monats: Fulldump - eine vollständige Kopie aller Daten des RO-Volumes
  • an jeden weiteren Wochenende eines Monats: Inkrementeller Dump des RO-Volumes zum vorhergehenden Fulldump - enthält die Dateien, die seit Anfertigung des Fulldumps geändert wurden
  • an jedem anderen Tag der Woche: Inkrementeller Dump des RO-Volumes - enthält die Dateien, die seit dem vorhergehenden Wochenende geändert wurden

Diese Inkrementellen Dumps werden nach folgendem Regime wieder gelöscht, wenn

  • sie vor mehr als 28 Tagen angefertigt worden sind
  • aktuellere Dumps existieren und
  • keine aktuelleren Dumps davon abhängig sind
Die Fulldumps werden nur dann gelöscht, wenn mehr als zwei Fulldumps existieren - es bleiben also immer zwei Fulldumps erhalten.

Beispiel: Wenn in einem Volume 1 GB Daten abgelegt sind und sich diese Datenmenge über lange Zeiträume kaum ändert, also etwa genau soviele Daten hinzukommen, wie gelöscht werden, dann ergibt sich folgender Bedarf an eingesetzten Speicherressourcen:

  • 1 GB für das RW-Volume
  • 1 GB für das RO-Volume
  • 2 GB für die beiden Full-Dumps
  • n MB für die Inkrementellen Dumps (n ergibt sich aus der Änderungshäufigkeit und dem Umfang der Änderungen an den Daten).
Insgesamt werden also 4 GB + n MB Speicherressourcen eingesetzt, um die 1 GB Daten des Volumes zu speichern.

siehe auch: Datensicherung im AFS

Warum spielt die vergebene Quota für die Berechnung der eingesetzten Ressourcen keine Rolle?

Die Quota ist ein technisches Hilfmittel zur Planung und Begrenzung der eingesetzten Ressourcen. Sie verhindert insbesondere, dass ein einzelner Nutzer ein physisches Speichersystem vollschreibt - und damit alle Benutzer behindert, deren Daten auf demselben Speichersystem liegen. Ein einzelnes Volume kann durchaus eine relativ große Quota besitzen, jedoch kann nur ein Bruchteil davon wirklich mit Daten gefüllt sein.

Für die Ressourcenplanung ist aber vor allem die tatsächlich genutzte Speicherkapazität von Interesse.

Trotzdem verwenden wir die Quota auch als Steuerungselement und haben bestimmte Quota-Obergrenzen für einzelne Volume-Typen festgelegt.

Nutzung/Auftragserteilung

Der Bedarf an Speicherkapazität für unsere Gruppe liegt über dem Limit - was können wir tun, um größere Kapazitäten zu nutzen?

Bitte informieren Sie sich zunächst über die technischen Möglichkeiten: Speicherdienste. Um eine Ihrem Anwendungsfall adequate Lösung zu finden, setzen Sie sich bitte mit uns in Verbindung. Beschreiben Sie bitte in einer Mail an unseren Helpdesk das zu lösende Problem und den abgeschätzen Kapazitätsbedarf. Gemeinsam werden wir dann eine individuelle Lösungsvariante erarbeiten, die Ihren Bedarf und die technischen Möglichkeiten berücksichtigt.