Problemfelder und Lösung (aka Tipps)

Job-Start-Probleme

• Jobstart macht viel Last und ist relativ instabil
Zum Erproben und Entwickeln von Jobs interaktive Jobs nutzen und Scripte von Hand starten
• hängt ein Job und kann vom Nutzer nicht mehr entfernt werden, dann bitte eine E-Mail an clic-admins@hrz.tu-chemnitz.de schreiben

AFS und Tokens

• um Ergebnisse ins AFS zu schreiben, benötigt man ein AFS-Token
• Tokenverlängerung/Vermittlung ist komplex und fehleranfällig
Allen Cluster-Knoten (Maschinen-Token) Schreibrechte geben.

$ cd <Projektverzeichnis>
$ fs sa . urz:clicnodes write
            

Jeder, der einen Account auf dem CliC hat, kann dieses Verzeichnis lesen und schreiben.
• Interaktive Jobs wollen ins Homeverzeichnis
Clusterknoten "lookup-Recht" im Homeverzeichnis geben, da AFS-Tokenweitergabe nicht immer funktioniert.

$ cd ~
$ fs sa . urz:clicnodes l
            

PBS

• PBS ist relativ überlastet und anfällig
Nach Jobende, qterm oder qdel ist der Job für ca. 10min noch in der Job-Liste sichtbar und blockiert Knoten.
• Job-Start von großen Jobs blockiert PBS
• Je größer der Job, desto wahrscheinlicher ist es, dass es ein Problem mit einem Knoten gibt
Wenn sich Aufgabe teilen lässt, dann lieber mehrere kleinere Jobs beauftragen.

Checkpointing

• Cluster kann in unregelmäßigen Abständen "herunter"-gefahren werden
• Job kann auf Grund von Fehlern abbrechen
Sehr lang laufende Jobs sollten "Checkpointing" beherrschen.
• in regelmäßigen Abständen und bei Abbruch Zwischenstand speichern und bei Restart an dieser Stelle weiterrechnen

Temporäre Daten in /tmp

• /tmp wird nach Job-Ende nicht aufgeräumt
• es sind Namenskonflike möglich
TMP-Dateien eindeutig benennen

/tmp/$USER/$PBS_JOBCOOKIE