TU Chemnitz: CHiC
CHiC Maintenance (October 4 to October 7, 2011)
This time frame will be used for the regular maintenance of the CHiC to provide avaibility after the estimated EOL.Support for Java (July 1, 2011)
The Java SE Development Kit 6u26 (including the Java SE Runtime Environment 6u26) is now available via the Environment Modules system on all nodes.Talk of Torsten Hoefler: „Analytical Performance Modeling and Simulation for Blue Waters“ (April 20, 2011)
Further information can be found here.CHiC Maintenance (November 8 to November 12, 2010)
Two defective InfiniBand switches were disabled and we replaced the no longer supported proprietary Infiniband subnet manager with the OFED 1.5 Open Subnet Manager (OpenSM).OpenFOAM 1.7.1 (October 14, 2010)
Dr. Rolf Lohse of the Department of Technical Thermodynamics / Faculty of Mechanical Engineering compiled and installed OpenFOAM 1.7.1 on the CHiC. It is now available via the Module system. Dr. Lohse will also provide a German usage guide at http://www-user.tu-chemnitz.de/~lor/praktikum/openfoam.php.Python 2.7, NumPy and Atomistic Simulation Environment (ASE) (October 1, 2010)
Python 2.7, NumPy and ASE are now available via the Environment Modules system by invoking "module add apps/python-2.7". NumPy is the fundamental package needed for scientific computing with Python. ASE is an Atomistic Simulation Environment written in the Python programming language with the aim of setting up, stearing, and analyzing atomistic simulations.CHiC Maintenance (September 1 to September 3, 2010)
We were able to solve the InfiniBand connection problems and prepared the BLCR checkpoint / restart system.Open MPI 1.4.2 (May 15, 2010)
Open MPI version 1.4.2 has been installed for GCC,Intel and Pathscale compilers and is available via the Environment Modules system.Support for Java (February 15, 2010)
The Java SE Development Kit 6u18 (including the Java SE Runtime Environment 6u18) is now available via the Environment Modules system on all nodes.New Applications (Dezember 11, 2009)
The Mercurial version control software is now available via the Environment Modules system. Moldflow 2010 is available for members of the Faculty of Mechanical Engineering via /lustrefs/apps/moldflow2010.Maintenance of Ethernet Switches (Dezember 08, 2009)
Some of the Ethernet management switches will be replaced on-the-fly. The outage of some nodes is possible. This procedure prevents a whole shutdown of the CHiC.Maintenance and Power Outage (November 20, 2009 until November 25, 2009)
This time frame will be used for the maintenance of the CHiC. Some parts of the network infrastructure will be renewed. The power outage on November 21, 2009 is used for this task.PathScale Compiler Suite (September 1, 2009)
The computer service department is migrating the license server of the PathScale compiler suite. As a consequence, the compiler will not be available for a short time frame.New Applications (August 18, 2009)
The Abinit software package v5.8.4 is installed and added to the Environment Modules system. Additionally, the strace system call tracer is installed for high-level application debugging.New MPI library (August 14, 2009)
The Open MPI open source MPI-2 implementation v1.3.3 built with the Pathscale Compiler v3.1 is installed and added to the Environment Modules system. Additionally, dependent math libraries with MPI support are added, too.New Application (August 13, 2009)
The Gnuplot interactive data and function plotting utility with extended functionality rapid data visualization is installed and added to the Environment Modules system.New Application (August 11, 2009)
The Siesta, the Spanish Initiative for Electronic Simulations with Thousands of Atoms software package is installed and added to the Environment Modules system.CHiC partially offline (August 17, 2009 until August 28, 2009)
The external air-conditioning system is extended during this period of time. A temporary emergency cooling system is used. For the continuous reliable operation of the CHiC we take preventive measure of shutting down approximately 40% of the compute nodes to reduce the load on the emergency cooling system. On urgent requests, these compute nodes can be reactivated shortly.New Debugger (July 21, 2009)
The TotalView debugger v8.6 is installed and added to the Environment Modules system.New Compiler (July 3, 2009)
The Intel Compiler Suite v11.1 is installed and added to the Environment Modules system.CHiC Offline am 15.12.2008, ab 12.00Uhr
Geplante Maßnahmen:- Kernel-Update von 2.6.9-55.0.9.EL_lustre.1.6.4.2smp nach 2.6.18-8.1.14.el5_lustre.1.6.4.2smp (umgestellt werden erstmal nur die diskless-Knoten, visnodes und bigmem/compute_x11 werden in einer späteren Maßnahme folgen)
- Umstellung bigmem (16GB RAM) nach compute_x11 (4GB RAM)
- Integration der erworbenen Speichermodule
CHiC Symposium, 10.12.2008, 16.00 - 17.30 Uhr, Raum 219
Im Bereich CHiC-Symposien finden Sie zusätzliche Informationen dazu.
CHiC Offline am 04.11.2008, 08.00Uhr - 06.11.2008, 08.00Uhr
Geplante Maßnahmen:- BIOS-Anpassungen Knoten
- Anpassungen am Knotenimage
- Upgrade der Managementknoten
- Neustart der InfiniBand-Netzwerkfabric
Großes Wartungsfenster am 24.09.2008, 08.00Uhr - 27.09.2008, 08.00Uhr
Geplante Maßnahmen:- BIOS/Firmware-Updates auf allen Knoten und Infrastruktur-Geräten
- Anpassungen an der Switchkonfiguration der großen InfiniBand-Switche
- Upgrade der Managementknoten
- Speicher-Upgrade von 36 Computeknoten (gemäß Entscheidung CHiC-Symposium vom 14.08.)
- Anpassungen am Batchsystem
CHiC Symposium, 14.08.2008, 11.00 - 12.30 Uhr, Raum B006
Im Bereich CHiC-Symposien finden Sie zusätzliche Informationen dazu.
Bugfix-Update Lustre, 06.02.2008, 08.00 - 07.02.2008, 16.30 Uhr
Folgende Maßnahmen wurden durchgeführt:- Update Lustre-Dateisystem auf Version 1.6.4.2
- Anpassungen an der InfiniBand-Switchkonfiguration
CHiC Symposium, 23.11.2007, 11.00 - 12.30 Uhr, Raum B006
Im Bereich CHiC-Symposien finden Sie zusätzliche Informationen dazu.
Großes Funktionsupdate vom 26.11.2007, 08.00Uhr - 05.12.2007, 17.00Uhr
In diesem Zeitraum steht das System den Nutzern nicht zur Verfügung!Das Funktionsupdate umfasst folgende Komponenten:
- Austausch der Hardware RAID-Controller im Speicherkomplex.
Damit werden wir dann von RAID-5 auf RAID-6 wechseln um die Ausfallsicherheit weiter zu erhöhen. - Update des Dateisystems Lustre auf die aktuelle Version 1.6.3.
- Update des InfiniBand Software-Stacks auf Version 1.2
- Software-Updates
- BIOS und Firmware Updates auf allen Geräten und Adaptern.
Veröffentlichung der neuen Top500-Liste, 12.11.2007
Mittlerweile rangiert der CHiC auf Platz 237. Hauptverantwortlich ist die Entwicklung der Intel-Prozessoren und das Aufkommen der Quad-Cores. Damit überholen uns nun bereits schon Systeme mit 128 Knoten.10.10.2007 Neuigkeiten CHiC-Betrieb
- Ein neues qsub-Wrapper-Skript sorgt nun für die Integration von X-fähigen Knoten in den Batch-Betrieb. Siehe hier
- Zur Erhöhung der Knotenstabilität wurde die zur Verfügung stehende Speicherkapazität für Anwendungen etwas beschränkt. Der Verlust ist dabei nicht größer als 50MB. Dies hat den Vorteil, dass Anwendungsprozesse die mehr Speicher anfordern als zur Verfügung steht keine negativen Seiteneffekte beim Batch-Betrieb mehr verursachen.
27.09.2007 Veröffentlichung zum CHiC als IBM Referenzsystem
Zur besseren Darstellung des CHiC-Projekts nach außen und innerhalb der IBM wurde eine entsprechende Referenz erstellt. Damit ist die TUC nun auf den IBM Webseiten auffindbar.Siehe hier
Neuigkeiten Batchsystem, 16.07.2007
- Ein neues Skript überwacht jetzt die Diensteverfügbarkeit auf den Knoten und setzt im Fehlerfalle den Knotenzustand auf down, so dass dieser Knoten dann nicht mehr zugeteilt werden kann.
- Das Verschicken von Mails durch das Batchsystem ist jetzt funktional
- Die Dokumentation zum Batchsystem wurde um die folgenden Punkte erweitert:
- Mail-Benachrichtigungsparameter
- Parameter zur Umlenkung von Standardausgabe/-fehler
Umstellung Batchsystem und Projektverwaltung, 29.06.2007
Mit Abschaltung des alten CLiC geht der CHiC jetzt in den normalen Regelbetrieb über. Dazu wurde jetzt auf diesen Seiten die Projektverwaltung als auch die Nutzerdokumentation freigeschalten. Die Batchsystem-Kombination TORQUE/Maui wird jetzt ebenfalls seinen Dienst für die Ressourcenverwaltung aufnehmen.Weiterhin ist für die angemeldeten Nutzer eine Mailingliste (chic-user@tu-chemnitz.de) eingerichtet.
Bei Fragen und Problemen kann man sich an die Mailadresse chic-admin@informatik.tu-chemnitz.de wenden.
Veröffentlichung der neuen Top500-Liste, 27.06.2007
Nachdem im November 2006 die Top500-Liste knapp verpasst wurde und zu diesem Zeitpunkt vom CHiC der de-facto Listenrang 80 eingenommen wurde, wird nun ein halbes Jahr später in der neuen offiziellen Top500-Liste vom Juni 2007 der Rang 117 eingenommen. Das zeigt den schnellen Leistungszuwachs der Top-Supercomputer.In Deutschland hingegen muss der CHiC sich im akademischen Umfeld lediglich den drei Höchstleistungsrechenzentren sowie dem Hochleistungsrechenzentrum Dresden geschlagen geben und würde hier den Platz 6 belegen.
CHiC-Symposium am 23. März 2007
Im Bereich CHiC-Symposien finden Sie zusätzliche Informationen dazu.
Die Rede von Staatsministerin Dr. Eva-Maria Stange anlässlich der Einweihungsfeier
Sie finden die Rede der Ministerin hier,
die Redes des Rektors hier und
die Rede von Prof. W. Rehm hier.
TU Chemnitz mit Besonderheit (aus Sachsen Fernsehen vom 7.2.07)
Das Video finden Sie
hier.
Mehr als 8.000.000.000.000 Operationen pro Sekunde
Neuer Hochleistungs-Linux-Cluster gehört zu den schnellsten Computern der Welt - Sachsens Wissenschaftsministerin Dr.
Eva-Maria Stange: "TU Chemnitz tritt mit Höchstleistungsrechner in neue Liga ein"
Den kompletten Artikel finden Sie hier.
CHiC - Festkolloquium am 7. Februar 2007
Am 7. Februar 2007 veranstalten das CHiC - Konsortium und die TU Chemnitz ein Festkolloquium anläßlich der offiziellen Inbetriebnahme des Chemnitzer Hochleistungs-Linux-Cluster's "CHiC".
Als homogenes, massiv-paralleles Linux-Cluster geplant, besteht der Rechner aus einem großen Compute-Komplex auf der Basis der neuen IBM Produktserie „System x“. Auf 538 Serverknoten realisieren 2152 Prozessorkerne neuester AMD-Opteron-Chips der Revision F eine Spitzenleistung von ca. 11 TeraFlops, womit der Rechner einen Platz unter den TOP100 der Weltrangliste der stärksten Supercomputer einnimmt. Ergänzt wird das System durch einen 60-TeraByte-Plattenspeicherkomplex von der Firma Megware Computer, Chemnitz bzw. ihrem Partner Xiranet Communications, Dresden.
Insbesondere die im CHiC-Konsortium vereinten Forscher aller Fakultäten werden von dieser enormen Rechenleistung profitieren und damit das Universitätsprofil auf dem Gebiet „Modellierung, Simulation und Hochleistungsrechnen“ weiter ausbauen.
Interessenten aus dem akademischen Bereich sowie aus Forschung, Industrie und Verwaltung sind herzlich eingeladen.
Einladung zum Festkolloquium (PDF)Anmeldung zum Festkolloquium
Profillinie Modellierung, Simulation und Hochleistungsrechnen (PDF)
Informationen/Ansprechpartner:
Torsten Mehlan, Tel: 0371 531 31660
Die TU Chemnitz rüstet sich mit einem massiv-parallelen Hochleistungsrechner von IBM Deutschland
Die Technische Universität Chemnitz investiert 2,64 Mio EUR in einen neuen Hochleistungsrechner „CHiC“ zuzüglich einer dazu notwendigen Baumaßnahme und Kälteversorgung im Wert von 1,7 Mio EUR, um Ihr Profil auf dem Gebiet „Modellierung, Simulation und Hochleistungsrechnen“ weiter auszubauen. Ein eigens dafür gegründetes „CHiC“-Konsortium“, bestehend aus mehr als 23 Professoren aller Fakultäten, ist Antragsteller und trägt unter Leitung von Prof. Wolfgang Rehm die Projektverantwortung für das noch in diesem Jahr zu installierende System.
Die Systemarchitektur dieses Systems wurde von der Forschungsgruppe um Prof. Rehm konzipiert. Als homogenes massiv-paralleles Linux-Cluster geplant, besteht es aus einem großen Compute-Komplex, den IBM Deutschland auf der Basis der neuesten IBM Produktserie „System x“ liefert. Auf 538 Serverknoten werden 2152 Prozessorkerne neuester AMD-Opteron-Chips der Revision F mit optimiertem Speicherinterface und Virtualisierungstechnik AMD-V eine Spitzenleistung von ca. 11 TeraFlops realisieren. Für Anwendungen der grafischen Datenverarbeitung ist zusätzlich ein Visalisierungskomplex , bestehend aus 12 Hochleistungsgrafikknoten, integriert.
Ein Hochgeschwindigkeitsnetz auf Basis der InfiniBand-Technologie verbindet die Rechenknoten mit hoher Bandbreite und geringer Latenz, wodurch die Skalierung von Anwendungen wesentlich unterstützt wird.
Ergänzt wird das System durch einen 60-TeraByte-Plattenspeicherkomplex von der Firma Megware Computer, Chemnitz bzw. ihrem Partner Xiranet Communications, Dresden. Als Shared-Filesystem wird das als Open Source verfügbare Lustre eingesetzt.
Allgemein wurde auf die Verwendung von Open Source sowie offener Industriestandards orientiert. Als Betriebssystem wird auf dem Cluster Red Hat Enterprise Linux 4 in Form von Scientific Linux 4.3 eingesetzt. Das Betriebskonzept wurde aus Ersparnisgründen auf Eigenbetrieb und weitestgehende Eigenwartung ausgelegt.
Prof. Wolfgang Rehm, Sprecher der TU Profillinie "Modellierung, Simulation und Hochleistunsgrechnen: "Das System soll insbesondere den an der TU Chemnitz im CHiC-Konsortium vereinten Forschern die Möglichkeit bieten, die wachsende Komplexität von wissenschaftlichen Simulationen aus Physik, Chemie, Materialforschung, Engineering und Informatik beherrschen zu können. Auch die Optimierung realitätsnaher Probleme im nichttechnischen Bereich, wie beispielsweise Finanzwirtschaft und Psychologie, erfordert zunehmend größere Rechenleistung"
Charakteristisch ist die homogene Ausrichtung des 538 Knoten umfassenden Rechenkomplexes. Damit stellt das System eine wichtige Ergänzung zu dem an der TU Dresden installierten heterogenen PC-Farmkomplex dar. Beide Universitäten planen, die Systeme miteinander zu verbinden, um im Sinne eines Grids den Anwendern die Vorteile beider Konfigurationen zugängig machen zu können."
"Die Firma IBM konnte sich, aufbauend auf ihren hervorragenden Erfahrungen im Bau und Management hochparalleler Systemen von mehr als 100 000 Prozessoren, mit denen IBM die Weltrangliste der TOP500 stärksten Supercomputer anführt, in einem öffentlichen Ausschreibungsverfahren durchsetzen", so Prof. Rehm. Die lokal ansässige Firma Megware Computer wird die Vor-Ort-Installation übernehmen und ihr Know-how bei der Integration und Installation mittlerer und großer Clustersysteme einbringen."
Für die Ausstattung mit AMD Opteron Prozessoren war deren hervorragende Ausgewogenheit von Rechenleistung und skalierender Speicherbandbreite wie auch das sehr gute Preis-Leistungsverhältnis ausschlaggebend.
Der CHiC-Clustercomputer wird wassergekühlt sein, im Endausbau 18 Racks umfassen und einen völlig neu rekonstruierten Maschinenraum belegen.
Als Referenzsystem geplant ist beabsichtigt, zukünftig in Kooperation mit IBM Deutschland eine Reihe neuer Cluster-Konzepte zu erproben bzw. zu entwickeln. Die bereits bestehenden Kooperationen mit IBM sollen dazu längerfristig ausgebaut werden.
Vortrag beim Treffen des ZKI Arbeitskreises Supercomputing
Am 19.10.2006 und 20.10.2006 fand im LRZ München das 26. Treffen des ZKI Arbeitskreises Supercomputing statt. Prof. W. Rehm (Sprecher des CHiC-Konsortiums) hielt anläßlich dieses Treffens den Vortrag Zur HPC-Clustercomputer-Beschaffung CHiC.
