Big Data Lab

Das Lab besteht aus zwei Komponenten, dem Hadoop-Cluster (HC) und dem Advanced-Computing-Cluster (ACC). Ersteres stellt grundlegende Funktionalität zum verteilten Rechnen mittels Hadoop zur Verfügung. Sollte ein Anwendungsfall mehr Compute-Power oder zusätzliche Software benötigen, wird dies mittels des ACC realisiert. Ein Überblick über die technische Infrastruktur des BDL (Housing beim URZ der TU Chemnitz) ist Abbildung 2 zu entnehmen.

 Abbildung 2: BDL-Infrastruktur

Hadoop-Cluster (HC)

Das HC besteht aus 12 Knoten, die eine Intel i5-CPU (4 Hardware-Threads pro CPU) mit 3,4GHz besitzen. Zusätzlich hat jeder Knoten 32GB Arbeitsspeicher und 2,5TB Festplattenkapazität (Ausbau geplant). Damit verfügt das HC in Summe aktuell über 384 GB Arbeitsspeicher und 30 TB Festplattenkapazität, welche für verteilte Berechnungen – beispielsweise nach dem Map-Reduce-Modell – genutzt werden können.

Advanced-Computing-Cluster (ACC)

Das ACC verfügt über 6x Dell R720xd Server (Dell PowerEdge R720xd Spec Sheet), die in Summe über folgende Hardware-Ausstattung verfügen:

• 120 Kerne / 240 Hardware-Threads auf 12 CPUs (Intel Xeon E5-2660v2)
• 1,5 TB Arbeitsspeicher
• 20 TB Festplattenkapazität in einem Storage-Area-Network (SAN)

Die drei Kernkomponenten der konzeptionellen Architektur des BDL bilden die Grundlage für die vier Hauptanwendungsfälle akademische Forschung, Lehrtätigkeit, Evaluierungsplattform und Show Cases.

Hauptanwendungsfälle

• Forschung bezieht sich auf alle akademischen und missionsorientierten Forschungsprojekte, einschließlich Big Data Analytics (BDA), IoT-Einstellungen, insbesondere Industrie 4.0, und Datenmanagement.
• Der Unterrichtsfall bezieht sich auf alle Lehraktivitäten, an denen das BDL beteiligt ist. Das Lab bietet die erforderlichen Softwaretools für praktische Schulungen sowie Flexibilität beim Einrichten zusätzlicher Software. Das Labor findet u.a. in den von der Professur angebotenen Lehrveranstaltung wie „Big Data Management“ regelmäßig Anwendung.
• Darüber hinaus dient das BDL als Evaluierungsplattform für Big-Data-Anwendungsfälle und -Anwendungen, wie etwa neuartige Analyseplattformen.
• Schließlich wird das Lab für Show-Case-Szenarien genutzt, um potenziellen Partnern, regionalen Unternehmen und interessierten Studenten Big-Data- und IoT-Einsatzmöglichkeiten zu präsentieren (z. B. an Tagen der offenen Universität).

Abbildung 3 stellt einen generellen Ablauf eines Anwendungsbeispiels mit, durch das BDL bereitgestellten, Ressourcen dar.  

 

Abbildung 3: Genereller Ablauf eines Anwendungsbeispiels im BDL 

Zusammengefasst bietet das BDL eine flexible und kreative Umgebung, um alle Arten von BDA-Szenarien in Lehre und Forschung zusätzlich zu unterstützen.

Studentische Forschung

Neben den Lehrveranstaltungen können Studierende das Lab im Rahmen von studentischen Forschungsprojekten, wie beispielsweise Seminar- und Abschlussarbeit, nutzen. Relevante Arbeiten und Ausschreibungen finden Sie hier.

Innovations- oder Kreativlabs mit ihren Bestrebungen, den systemischen Wandel zu fördern und frische Ideen für die Zukunft zu entwickeln, sind zu einer tragenden Säule der Innovation geworden. Die Labore werden von Stadtverwaltungen, NGOs, Think Tanks und multinationalen Konzernen genutzt und werden, zu einem Standardrahmen für kollaborative Innovation. Ein typisches Innovationslab umfasst organisatorische, funktionale und geografische Grenzen und ist bestrebt, ein breites Spektrum von Interessengruppen in Problemlösungsaktivitäten einzubeziehen. In den meisten Fällen sollten erste Ideen, Prototypen und deren mögliche Potentialausschöpfung frühestmöglich identifiziert und implementiert werden. Tiefergehende Forschungsprojekte brauchen natürlich länger. Im Rahmen des BDL bezieht sich die Säule des „Open Setting“ (also eine offene Einstellungs- bzw. Erwartungskomponente) auf eine kreativitäts- und innovationsfördernde Umgebung, in der im Kontext von Big Data und IoT keine Grenzen gesetzt sind. Das Lab wird daher in naher Zukunft um Räume für Ideen-Sessions, beschreibbare Wände, mehrere Single-Board-Computer und verschiedene Sensoren erweitert. Ein flexibles und Startup-ähnliches Raumlayout unterstützt zudem die offene Einstellung des BDL. Dieses Konzept umfasst zum Beispiel Mehrzwecktische oder verschiedene Multimedia-Frontends für unbeaufsichtigte Nutzung und produktive Zusammenarbeit.