TU Chemnitz: ETIT: Prozessautomatisierung: Projekte: Salienzbasierte Bildverarbeitung
Prozessautomatisierung
Biologisch inspirierte, aufmerksamkeitsgesteuerte Wahrnehmung und Bildverarbeitung
Die Leistungsfähigkeit der menschlichen visuellen Wahrnehmung ist beeindruckend und in vielen Bereich unerreicht von technischen Systemen. Im Gehirn existieren mehrere Bereiche, in denen die von den Stäbchen und Zäpfchen in der Netzhaut aufgenommenen optischen Reize verarbeitet und interpretiert werden. Zumindest die unteren, ersten Stufen dieser zunehmend komplexeren Verarbeitung sind mittlerweile durch verschiedene Experimente gut verstanden.
Ein wichtiges Konzept der visuellen Wahrnehmung ist die sog. visuelle Aufmerksamkeit. Eng verknüpft damit ist der Begriff der visuellen Salienz. Dieser beschreibt, wie stark sich ein Objekt innerhalb einer Szene von seiner Umgebung abhebt, sei es durch Farbe, Form oder Bewegung. Je größer die Salienz eines Bildbereiches ist, umso stärker wird die Aufmerksamkeit des Betrachters auf diesen Bereich gezogen. Umgangssprachlich formuliert fallen einem also besonders saliente Objekte sofort ins Auge.
Das Bild links zeigt eine Szene aus dem Straßenverkehr und die zugehörige Salienzkarte. Der gelbe Container, die drei sichtbaren Verkehrsschilder sowie der blaue PKW haben die größte Salienz und ziehen so den Blick des Betrachters mit hoher Wahrscheinlichkeit auf sich. Im Bild rechts sind die automatisch extrahierten Proto-Objekte zu sehen. Diese werden mit Hilfe der Salienzkarte extrahiert und können als wiedererkennbare Merkmale der Szene bzw. als sogenannte Landmarken verwendet werden.
Eine erste naheliegende Anwendung der visuellen Salienz im Bereich der mobilen Robotik ist daher Finden von Landmarken zur automatischen Kartierung im Rahmen des SLAM-Problems. Im Gegensatz zu üblicherweise verwendeten SIFT, SURF oder Harris-Detektoren, sind die mit Hilfe eines Salienzmodells extrahierten Landmarken (Proto-Objekte) für einen menschlichen Betrachter aussagekräftiger und von größerer Relevanz. Die entstehende Karte enthält also mehr Informationen als mit den üblichen, punktförmigen visuellen Landmarken. Das am Lehrstuhl implementierte Salienzmodell kommt daher bereits im Rahmen unserer Forschungen an biologisch inspirierten Lösungen des SLAM-Problems zum Einsatz.
Musterunabhängige, salienzbasierte Bildverarbeitung zur automatischen Qualitätskontrolle in der Industrie
Industrielle Bildverarbeitung zur Qualitätskontrolle stützt sich meist auf einen Vergleich des zu prüfenden Objekts mit einem als fehlerfrei bekannten Referenzobjekt. Dabei wird auf typische Fehler des Produktionsprozesses geprüft. Ein Großteil des Aufwandes für die Integration eines solchen Systems ist die Ermittlung und Spezifikation der möglichen Fehler.
Ein menschlicher Prüfer hingegen ist in der Lage, verschiedenste Fehler zu erkennen, ohne explizite Kenntnisse über ein fehlerfreies Musterobjekt zu besitzen. Die Grundlagen für diese herausragende Fähigkeit des Menschen sehen viele Forscher weniger in den höheren kognitiven Schichten des Gehirns als in dem frühen visuellen System, wo eine Vorselektion der Informationen stattfindet, die an höhere Schichten weitergeleitet werden. Entscheidungsgrundlage ist dabei die Salienz eines visuellen Reizes, die angibt, wie sehr sich ein Reiz von seiner Umgebung abhebt. Das menschliche visuelle System ist dabei in der Lage sehr vielfältige Merkmale zu kombinieren und zu nutzen um die Salienz eines Objektes zu bestimmen.
Das von der EU und dem Freistaat Sachsen geförderte Forschungsvorhaben besteht darin, existierende neurowissenschaftliche Theorien für ein Qualitätskontrollsystem nutzbar zu machen, das weitestgehend auf fehlerfreie Muster der zu prüfenden Objekte und exakte Definition der möglichen Fehler verzichten kann sowie robust gegenüber Positionsveränderungen und Beleuchtungsschwankungen ist.
Grundlage dieser existierenden Theorien ist die Kombination verschiedener Merkmalsdetektoren zu einer Repräsentation der Salienz. Relevant für die Anwendung zur Qualitätskontrolle ist, dass viele Fehler und Unregelmäßigkeiten besonders salient sind, sich also von ihrer Umgebung abheben. Anschauliche Beispiele dafür sind ein Riss in einer Glasplatte, ein nicht verwobener Faden in einem Textilerzeugnis oder ein Span in einem Gewindegang. Die besondere Fähigkeit des biologischen Vorbildes und der angestrebten computerbasierten Implementation ist es, essentiell verschiedene Merkmale zu einer abstrakten Aussage über die Salienz eines Objektes zu kombinieren, die über die Summe der Merkmale hinausgeht.
Eine besondere Herausforderung ist die praxisorientierte Implementierung des Salienzmodells. Praxisorientiert bedeutet, dass das Grundprinzip des neurowissenschaftlichen Modells beibehalten wird, die Daten und Abläufe aber für die Verarbeitung auf Standard-Hardware optimiert werden. Dabei werden Ungenauigkeiten bei der Abbildung des biologischen Vorbildes in Kauf genommen, um bestmögliche Ergebnisse zu erzielen und die Dauer der Berechnungen soweit zu reduzieren, dass die Bearbeitung in Echtzeit möglich ist.
Kontakt
Ansprechpartner ist Dipl.-Inf. Peer Neubert.
