Navigation

Springe zum Hauptinhalt
Pressestelle und Crossmedia-Redaktion
„Uni aktuell“-Meldungen
Uni aktuell Forschung

Wie Wissenschaft noch transparenter wird

Chemnitzer Informatik-Professorin Janet Siegmund zeigt neue Ansätze für Open Science – Auszeichnung mit „Distinguished Paper Award" auf einer der wichtigsten Softwaretechnik-Konferenzen

Eine Herausforderung der Wissenschaft, die im öffentlichen Bewusstsein kaum präsent ist und die Forscherinnen und Forscher vor eine große Herausforderung stellt, ist die sogenannte „Replikationskrise“. Das meint die Wiederholbarkeit und damit Transparenz von Methoden und Ergebnissen wissenschaftlicher Forschung. Ein Weg aus der Krise ist das sogenannte „Open-Science-Format“, in dem alle wesentlichen Elemente eines Forschungsprozesses offengelegt werden. Doch welche Elemente sind wesentliche für den Forschungsprozess? Und was bedeutet „Replizierbarkeit“ genau? Ist das überhaupt der richtige Begriff, wenn es um die Wiederholbarkeit und damit Überprüfbarkeit wissenschaftlicher Erkenntnisse geht?

Ausgehend von dieser Problemstellung legten Prof. Dr. Janet Siegmund, Inhaberin der Professur Software Engineering, sowie ihre Kollegen Dr. Ben Hermann, Vertretungsprofessor IT-Sicherheit an der Universität Paderborn, und Dr. Stefan Winter, Postdoc im Bereich Softwaresysteme an der TU Darmstadt, ein Paper zum Umgang mit der Replizierbarkeit von Erkenntnissen in der Informatik vor. Die Federführung des Projekts lag in Paderborn bei Dr. Hermann. Das Paper mit dem Titel „Community Expectations for Research Artifacts and Evaluation Processes“ wurde im Zuge der „ESEC/FSE 2020“, einer der wichtigsten internationalen Fachkonferenzen für Softwaretechnik, in einem hoch kompetitiven Verfahren mit einem ACM SIGSOFT Distinguished Paper Award ausgezeichnet. Von 360 Einreichungen akzeptierte das Programm-Komitee 101 Paper zur Veröffentlichung, eine kleine Anzahl davon erhielt letztlich die Auszeichnung. Dieser Preis wird von der Association for Computing Machinery (ACM) jährlich nur für die besten Paper eines Jahres vergeben.  

Relevanz der Replizierbarkeit

Replizierbarkeit ist unabdingbar für gute, erfolgreiche Wissenschaft. Dafür gibt es die Open-Science-Bewegung, um den Weg des Erkenntnisgewinns transparent und nachvollziehbar darzustellen“, verdeutlicht Prof. Janet Siegmund. Dazu sei es unter anderem notwendig, sogenannte „Artefakte“ bereitzustellen. Als Artefakte gelten zum Beispiel alle Daten, Skripte, Code-Beispiele oder Beweise, die erstellt oder erhoben werden, um zu einer Erkenntnis zu gelangen. „Es gibt aber keine einheitlichen Richtlinien, wie diese Artefakte aussehen sollen“, sagt Siegmund. So gebe es zwar auch das Bestreben, Artefakte bereitzustellen, um Open Science zu fördern und Replizierbarkeit sicher zu stellen, aber es sei aktuell nicht klar, wie. „Artefakt-Evaluierungs-Kommissionen sollen dazu beitragen, dass Artefakte lange verfügbar sind, also etwa auch mit einem Wechsel eines Forschers nicht verschwinden und Daten und Erkenntnisse immer überprüfbar bleiben“, fasst Siegmund zusammen. Um einen Ansatzpunkt für mögliche Standards für Evaluierungskommissionen zu entwickeln, verschickten Siegmund und ihre Kollegen einen Fragebogen per E-Mail.

Befragt wurden alle Mitglieder der Artefakt-Evaluierungs-Kommissionen von wichtigen Konferenzen und Journals in der Informatik – insgesamt mehr als 1000 Personen. Davon erhielt das Team mehr als 250 Bögen zurück. Eine sehr hohe Evidenzbasis, da der reguläre Rücklauf zwischen zehn und 20 Prozent liegt.

„Wir waren sehr überrascht von der hohen Anzahl an Rückmeldungen. Damit haben wir nicht gerechnet und es hat uns gezeigt, dass der Wissenschaftsgemeinschaft das Thema sehr am Herzen liegt“, erklärt Dr. Hermann.

Erwartung der Evaluierungs-Kommissionen

„In unserer Befragung haben wir herausgefunden, dass es verschiedene Erwartungen gibt, wie Artefakte aussehen sollen. Diese Erwartungen sind zum Teil sehr individuell und oft auch nur implizit vorhanden, also beispielsweise in den Köpfen der Mitglieder der Artefakt-Evaluierungs-Kommissionen, den Köpfen der Chairs der Kommissionen, den Köpfen der Autoren und weiterer Gruppen“, sagt Siegmund. Erschwerend komme hinzu, dass Begriffe wie „Replizierbarkeit“, „Replikation“, „Wiederverwendbarkeit“ unterschiedlich interpretiert werden. Das mache es schwieriger, einheitliche Richtlinien zu definieren. „Aber genau da müssen wir hin“, stellt Janet Siegmund fest. „Diese Richtlinien und Erwartungen müssen explizit und klar kommuniziert werden.“

„Auch müssen wir in der Informatik die Diskussion führen, mit welchem Ziel wir Artefakte veröffentlichen. Geht es nur darum die Transparenz zu erhöhen oder erwarten wir, dass andere Forschungsgruppen auf diesen Artefakten weiter aufbauen können? Hier gibt es aktuell noch kein einheitliches Meinungsbild, aber es verändert vieles bei der Erstellung und auch der Begutachtung von Artefakten“, erklärt Ben Hermann.

Als nächste Schritte will das Team nun einheitliche Qualitätskriterien entwickeln und evaluieren. Das kann zum Beispiel in Form von „Registered Reports Track“ geschehen, in denen Forscherinnen und Forscher einen Studienplan vor der eigentlichen Datensammlung veröffentlichen. In Anlehnung an die Open Science Foundation gehört dazu auch ein Protokoll, was mit den Artefakten passiert und wie sichergestellt wird, dass diese langfristig verfügbar und benutzbar bleiben. Diese und weitere Untersuchungen sollen dazu beitragen, die Forschung der Informatik dauerhaft transparenter und nachvollziehbarer zu machen.

Originalpublikation (Preprint): Community Expectations for Research Artifacts and Evaluation Processes (Additional Material) By Ben Hermann, Stefan Winter, Janet Siegmund. This repository contains the material used in and produced during the study Community Expectations for Research Artifacts and Evaluation Processes accepted at the ACM Joint European Software Engineering Conference and Symposium on the Foundations of Software Engineering (ESEC/FSE) 2020: https://bhermann.github.io/artifact-survey/

Multimedia: Im Podcast TUCpersönlich spricht Siegmund über dieses besondere Forschungsinteresse, wie sie den Wechsel zwischen Passau, ihrer vorherigen Wirkungsstätte, und Chemnitz erlebt und welche Erfahrungen sie im Ausland gemacht hat.

Weitere Informationen erteilt Prof. Dr. Janet Siegmund, Professur Software Engineering der TU Chemnitz, Tel. +49 371 531 34310, E-Mail janet.siegmund@informatik.tu-chemnitz.de.

Matthias Fejes
24.09.2020

Alle „Uni-aktuell“-Artikel
Hinweis: Die TU Chemnitz ist in vielen Medien präsent. Einen Eindruck, wie diese über die Universität berichten, gibt der Medienspiegel.

Presseartikel

  • Auf den letzten Metern zur Entscheidung über den Kulturhauptstadt-Titel

    Der Sächsische Ministerpräsident Michael Kretschmer, TU-Rektor Prof. Dr. Gerd Strohmeier, der künftige Chemnitzer OB Sven Schulze und weitere Akteurinnen und Akteure stellten sich den Fragen einer internationalen Jury zur Chemnitzer Bewerbung - Die Entscheidung um den Titel fällt am 28. Oktober 2020 …

  • Stimmen zur Kulturhauptstadt-Bewerbung "Chemnitz 2025"

    Warum sollte Chemnitz Kulturhauptstadt 2025 werden? Internationale Studierende und Forschende geben im Video Antworten …

  • „Wir sind Chemnitz“

    TU Chemnitz setzt Zeichen für Vielfalt und Weltoffenheit im Zuge der Kulturhauptstadtbewerbung der Stadt Chemnitz …

  • Einsichten in den US-Wahlkampf

    Die erste Folge der neuen Staffel "TUCscicast" startet zum Thema "US-Wahl" - Experten-Einordnung durch Prof. Dr. Kai Oppermann und persönliche Einordnung durch TU-Studentin und US-Bürgerin Chelsea Burris …