Intelligent Frame Extractor
IFE (Intelligent Frame Extractor) ist ein modulares, plattformübergreifendes (C++/Python) Software-Tool der Professur Technische Informatik, das Deep-Learning- sowie klassische Objekterkennungsalgorithmen auf Video- und Bilddaten aus Projekten des Indoor Flight Center (IFC) anwendet. Es vereint Objekterkennung, Heatmap-Visualisierung, automatisierte PDF-Berichterstellung und Videokürzung in einer Anwendung und erlaubt es, neue Erkennungsalgorithmen als wiederverwendbare Erweiterungsmodule für unterschiedliche Drohnen- und Inspektionsanwendungen einzubinden.
Zweck & Motivation
Die verschiedenen Forschungsprojekte am Indoor Flight Center (z. B. Multikopter- und Freileitungsinspektions-Vorhaben) erzeugen große Mengen an Video- und Bilddaten, die auf erkannte Objekte und Ereignisse hin analysiert werden müssen. IFE wurde entwickelt, um diesen Projekten ein gemeinsames, wiederverwendbares Werkzeug zur Datenverarbeitung bereitzustellen, anstatt dass jedes Projekt eine eigene Verarbeitungspipeline aufbauen muss. Die modulare Bauweise adressiert gezielt den Bedarf, neue Objekterkennungsalgorithmen einzubinden, sobald sich Projekte und Anforderungen weiterentwickeln — sodass dieselbe Kernanwendung für unterschiedliche Einsatzfälle angepasst werden kann.
Technische Beschreibung
Software / Architektur
- Modulare Architektur, ausgelegt auf Wiederverwendbarkeit und Portabilität
- Kern unterstützt sowohl C++ als auch Python
- Neue Objekterkennungsalgorithmen (inkl. zugehöriger GUI-Funktionen) lassen sich als Erweiterungsmodule integrieren
- Unterstützt sowohl Deep-Learning-basierte als auch klassische Bildverarbeitungsalgorithmen
- Nutzt ein standardisiertes Datenserialisierungsformat zur Protokollierung und Speicherung der Erkennungsergebnisse
Schlüsseltechnologien
- Objekterkennung (Deep-Learning-basiert und klassische Bildverarbeitung)
- Datenserialisierung zur Protokollierung und Portabilität der Ergebnisse
- PDF-basierte Berichterstellung aus serialisierten Erkennungsdaten
Fähigkeiten
IFE vereint Datenanalyse, Bildverarbeitung und Medienwiedergabe in einem Tool:
Datenanalyse
- Datenserialisierung / Protokollierung der Erkennungsergebnisse zur Unterstützung von Wiederverwendbarkeit und Portabilität
- Automatisierte Erstellung von Inspektionsberichten (PDF-Ausgabe) auf Basis der serialisierten Daten
- Heatmap-Generierung zur Hervorhebung von Frames/Bereichen mit erkannten Objekten, mit Unterstützung mehrerer Objekttypen
- Verteilte ECU-Kommunikation
- Sensorintegration
- Steuerung der Fahrzeugbeleuchtung
- Hinderniserkennung und -ausweichung
- Hardware-in-the-Loop-Tests
Bildverarbeitung
- Modulare Einbindung von Bildverarbeitungsalgorithmen und ihren GUI-Komponenten (C++/Python)
- Einheitliches Serialisierungsformat über alle Algorithmen hinweg
Medien / Bedienung
- Wiedergabe von Bildern und Videos, inklusive Unterstützung von 4K-Auflösung
- Zoom- und Drag-Funktionen zur visuellen Validierung der Erkennungsergebnisse
- Datenprojektion: eine Overlay-Ebene, die Erkennungsergebnisse über das Video legt, mit Unterstützung mehrerer gleichzeitiger Objekte
- Videokürzung: erzeugt automatisch eine verkürzte Version langer Videos, die nur die relevanten (erkennungsrelevanten) Abschnitte enthält, wodurch die Datensatzgröße reduziert wird
Forschungskontext
IFE wird in mehreren Projekten der Professur Technische Informatik eingesetzt, wobei die modulare Erkennungs-Pipeline jeweils auf ein anderes Anwendungsfeld angewendet wird:
- APOLI: IFE wurde ursprünglich zur Unterstützung des APOLI-Projekts veröffentlicht, wo es als Post-Processing-Anwendung für Videos aus Freileitungsinspektionsflügen dient. Mithilfe von merkmalsbasierten und Deep-Learning-basierten Algorithmen ermöglicht IFE eine intelligente Datenverarbeitung zur Inspektion von Isolatoren auf Brandspuren.
- AFORI: Als Reaktion auf die Invasion des Europäischen Buchdruckers (Borkenkäfer), der in den letzten Jahren verheerende Schäden an deutschen Wäldern — auch in Sachsen — verursacht hat, wird IFE mit Deep-Learning-basierten Algorithmen eingesetzt, um von Borkenkäfern befallene Waldregionen in Sachsen zu lokalisieren und so die Bemühungen der Behörden zur Eindämmung der Ausbreitung zu unterstützen.
- CE (Lehre): IFE unterstützt zudem Studierende in Lehrveranstaltungen der Professur bei der Entwicklung von Bildverarbeitungsalgorithmen. Studierende finden eine Reihe bestehender Filter vor und können ihre eigenen Ansätze in die Anwendung integrieren, sodass diese von zukünftigen Studierenden weiterverwendet werden können.
