Das Hauptziel von ProFusion ist es, die Techniken der Sensordatenfusion, wie sie in Fahrerassistenzsystemen eingesetzt werden, über den aktuellen Forschungsstand hinaus voranzutreiben. Dazu wird eine modulare und vollständig kompatible Fusionsarchitektur für Multisensorsysteme aufgebaut, die in der Lage ist, unterschiedliche Ansätze zu integrieren (z.B. "low level" und "high level" Sensordatenfusion, Algorithmen zur Verbesserung der Situationserkennung usw.).

ProFusion2 ist ein Teilprojekt der europäischen PReVENT-Initiative. ProFusion2 treibt die Techniken der Sensordatenfusion - wie sie in Fahrerassistenzsystemen eingesetzt werden - über den aktuellen Forschungsstand hinaus voran. Mithilfe einer modularen und vollständig kompatiblen Fusionsarchitektur für Multi-Sensor-Systeme werden dabei unterschiedliche Ansätze integriert.

ProFusion2 untersucht Problemstellungen angefangen bei der Fahrzeugumfelderfassung bis hin zu spezifischen Applikationen. Dabei werden unterschiedliche Fusionsarchitekturen und Ansätze entwickelt und getestet: Early Fusion (FORWISS), Track Level Fusion (ICCS), Grid Based Fusion (INRIA) und Multi Level Fusion (TU Chemnitz).

Multi Level Fusion basiert auf dem Ansatz, Daten mehrerer Sensoren auf unterschiedlichen Abstraktionsniveaus zu fusionieren. Dabei wird sowohl die Ebene der Sensordaten als auch die der Situation abgedeckt. Der Ansatz ist in der Lage, Modelle und Zwischenergebnisse auf unterschiedlichen Ebenen zu kombinieren. Sog. "Backloops" in der Datenverarbeitung werden dadurch realisiert, dass zusätzliche Zwischen- und Endergebnisse evaluiert werden, um die Sicherheit eines bestimmten Resultats zu erhöhen.

Der Multi Level Fusion-Ansatz wurde in den Teilprojekten APALACI und SASPENCE für Pre-crash- und Safe Speed Applikationen eingesetzt.

 

Das Teilprojekt APALACI konzentriert sich in erster Linie auf den Schutz der Fahrzeuginsassen. Im Rahmen von APALACI wird mithilfe innovativer Techniken der Sensordatenfusion ein erweitertes System für Pre-crash- und Collision Mitigation-Anwendungen entwickelt. Die APALACI-Anwendung basiert auf der frühzeitigen Erkennung einer Kollision, um so die Intervention durch fahrzeuginterne Systeme zu verbessern und den Schutz der Fahrzeuginsassen zu erhöhen. Auf diese Weise kann die Schwere einer unvermeidbaren Kollision abgeschwächt werden. Für die Pre-crash-Anwendung werden Daten von einem mehrlagigen Laserscanner (Abb. 1) und Radarsensoren verarbeitet, um Hindernisse vor dem Fahrzeug erkennen zu können. Diese Informationen werden genutzt, um Sicherheitssysteme zu aktivieren und so die Insassen im Falle eines Unfalls besser schützen zu können. 

Der Vorzug eines mehrlagigen Laserscanners liegt in seiner Fähigkeit, dreidimensional zu messen. Die hier genutzte Technik basiert auf der Erzeugung mehrlagiger Laserstrahlen, wodurch eine räumlich erweiterte Region vor dem Fahrzeug abgedeckt werden kann. Dank der dreidimensionalen Natur der gewonnenen Daten ist das Lidar gut geeignet, um geometrische Eigenschaften anderer Verkehrsteilnehmer und potenzieller Hindernisse einzuschätzen. Der Genauigkeitsbereich eines Lidar liegt bei wenigen Zentimetern, wodurch Position, Größe und Form eines entdeckten Objektes präzise rekonstruiert werden können. Diese Eigenschaft ist besonders wichtig für eine Pre-crash-Applikation. Um darüber hinaus Informationen über Geschwindigkeitsvektoren einbeziehen zu können, die nicht direkt vom Lidar gewonnen werden können, wurden zusätzlich Daten von Radarsensoren auf einem hohen Abstraktionslevel mit den Objekten verknüpft.

Im Rahmen von APALACI wurde der Multi Level Fusion Ansatz mittels eines 3D occupancy grid-Ansatzes umgesetzt. Für die Verarbeitung von Laser-und Radardaten nutzen wir eine Kombination aus zwei- und dreidimensionalen evidence grid-Strukturen. Ein evidence grid wurde als Basis der Datenverarbeitung gewählt, weil es auf effektive Weise große Mengen an Rohdaten bewältigen kann, indem es diese in räumlichen "Containern" - den einzelnen Zellen der Gridstruktur - sammelt (Abb. 2).

Durch den Einsatz des dreidimensionalen Grids konnten die Vorzüge der multidimensionalen Sensortechnologie des Laserscanners ausgeschöpft werden. Es hat sich gezeigt, dass durch die Lidar-Messungen die räumliche Struktur des Hindernisses erkannt und so ein wertvoller Input für die Extraktion von Objekteigenschaften gewonnen werden konnte. Die Berücksichtigung der Höhe des Objekts ermöglicht eine Differenzierung zwischen kleineren Objekten, die einfach überfahren werden können, und anderen, gefährlicheren Hindernissen. 

Abb. 2: Parkplatzszene (links); 3D grid representation, in dem Freiräume weiß und unbekannte Bereiche grau kodiert sind (Mitte); durch erfolgreiche Verarbeitung von 3-dimensionalen Lidar-Messungen erkannte Objekte (rechts)

(Safe Speed und Safe Distance)

SASPENCE entwickelt und evaluiert ein innovatives System, das in der Lage ist, das sehr verlässliche und komfortable Safe Speed- und Safe Distance- Konzept umzusetzen. So soll der Fahrer dabei unterstützt werden, Unfälle aufgrund erhöhter Geschwindigkeit oder eines zu geringen Sicherheitsabstandes zu vermeiden. Das System sollte daher in unaufdringlicher Weise mit dem Fahrer kooperieren, indem es für eine bestimmte Situation - etwa eine scharfe Kurve oder ein potenziell gefährliches Hindernis - eine angemessene Geschwindigkeit und den notwendigen Sicherheitsabstand empfiehlt. Dazu werden Bilddaten einer Grauwertkamera und Radardaten fusioniert, um die gesamte Straße und Hindernissituationen rekonstruieren zu können.

Um die interessierenden Objekte - in diesem Fall Fahrzeuge - erkennen zu können, werden Radarinformationen und Sensordaten genutzt und miteinander kombiniert, um so ein verlässlicheres Ergebnis zu erhalten. Zunächst werden die Radardaten mit Erkenntnissen zu Geschwindigkeit, Spannweite und Winkel des Objekts in das Koordinatensystem des Fahrzeugs transformiert. Auf diese Weise können die Informationen in den Bildraum der Kamera projektiert werden. Mittels dieser Daten erhalten wir Aufschluss über die uns interessierenden Graustufen, mit denen alle anderen Schritte der Bildverarbeitung zusammenhängen. Die Informationen, die mithilfe eines konturbasierten Bildverarbeitungs-Algorithmus gewonnen weden, können nicht nur Radarbeobachtungen verifizieren, sondern gleichzeitig zusätzliche Eigenschaften des Objekts einschätzen, etwa die Breite oder die laterale Position. Diese Eigenschaften sind für Applikationen im Bereich der Vermeidung und Abschwächung von Kollisionen von großer Bedeutung, können jedoch nur schwerlich durch Radarbeobachtungen allein bewertet werden. Die Zustände des entdeckten Fahrzeuges werden mithilfe eines Multi-Object Unscented Kalman-Filters geschätzt..

Schließlich ist das System in der Lage, feststehende Objekte vor dem eigenen Fahrzeug zu erkennen, was mit Radarsensoren allein nicht erreicht werden kann.

Die Ergebnisse wurden im Rahmen des Projektes ProFusion2 gewonnen. ProFusion2 ist ein Teilprojekt von PReVENT - einer Fahrzeuginitiative, die im Rahmen des sechsten Framework Programmes von der Europäischen Kommission mitfinanziert wird. ProFusion2, dessen Konsortium aus CRF, Daimler, DELPHI, FORWISS, IBEO, ICCS, INRIA, TUC (TU Chemnitz) und Volvo Tec besteht, befasst sich mit Forschungsfragen aus dem Bereich von Sensordaten und Sensordatenfusion.

Lindner, Philipp; Scheunert, Ullrich; Richter, Eric und Wanielik, Gerd (2007), "Multi Level Fusion with Confidence Measures for Automotive Safety Applications", Proceedings of the 10th International Conference on Information Fusion, 2007

Tango, Fabio; Richter, Eric; Scheunert; Ullrich und Wanielik, Gerd (2008), "Advanced multiple objects tracking by fusing radar and image sensor data - Application on a case study", Proceedings of the 11th International Conference on Information Fusion: 1-7.

Scheunert, Ullrich; Lindner, Philipp;  Richter, Eric; Tatschke, Thomas; Schestauber, Dominik; Fuchs, Erich und Wanielik, Gerd (2007), "Early and Multi Level Fusion for Reliable Automotive Safety Systems", IEEE Intelligent Vehicles Symposium: 196-201.