I-RobEka: Interaktionsstrategien für eine robotische Einkaufsassistenz
Kurzbeschreibung
Der Projektname „I-Robeka“ ist das Akronym für "Interaktionsstrategien für eine robotische Einkaufsassistenz" und bezeichnet ein Verbundprojekt, welches vom Bundesministerium für Bildung und Forschung (BMBF) gefördert und vom VDI | VDE koordiniert wird. An diesem Projekt sind insgesamt vier Professuren und drei externe Unternehmen beteiligt. Eine partnerübergreifende Webseite ist unter folgendem Link zu finden: Projekt-Webseite
Weitere Details zur Navigationsstrategie des Roboters sind auf der unserer englischsprachigen Research Webseite zu finden.
Das Thema
In der Zusammenarbeit von Mensch und Robotern müssen Design und Steuerung auf die Bedürfnisse von Menschen und die Interaktion mit ihnen abgestimmt sein. In Alltagssituationen, die durch eine hohe Komplexität und Dynamik gekennzeichnet sind, ist diese Interaktion bisher nicht immer zufriedenstellend. Gegenstand des Projektes ist die Entwicklung eines situativ adaptierenden Interaktionskonzeptes und dessen Realisierung in einem Demonstrator. Als komplexes Szenario ist hierfür der Einsatz eines mobilen Roboters vorgesehen, der in der Infrastruktur eines Supermarktes agiert. Zentrale Arbeitsziele des Interaktionskonzeptes betreffen u. a. die Mensch-Roboter-Kommunikation via Sprach- und Touch-Eingaben, die Menscherkennung und die damit verbundene Wiedererkennung, sowie die Navigation und Steuerung in komplexen und hochdynamischen Umgebungen.
Unsere Aufgaben im Projekt
Innerhalb unserer Professur Prozessautomatisierung beschäftigen wir uns mit autonomen Systemen, welche beispielsweise in Form eines mobilen Roboters sein können. Dabei bestehen unsere Forschungsschwerpunkte in diesem Gebiet aus der Wahrnehmung und Interpretation der Umwelt mit unterschiedlicher Sensorik. Konkret werden die Bereiche der Computer Vision, Multi-Sensordatenfusion, Algorithmen zur Navigation und Steuerung sowie des maschinellen Lernens vereint und bilden die Grundlage eines deliberativ und reaktiv handelten autonomen Agenten. Auf Basis dieses Wissens und unserer Erfahrung im Bereich mobiler Roboter, widmen wir uns im Projekt der Lokalisierung, sowie der Navigation eines Einkaufsassistenten in einem hochgradig dynamischen Supermarktszenario. Das Forschungsziel basiert dabei auf Erweiterungen der statischen Navigation auf dynamische Umgebungen, welche insbesondere durch Personen charakterisiert sind. Da Bewegungsvorhersagen von Menschen sehr schwer sind, ist es besonders herausfordernd sich sicher und schnell in solchen Umgebungen zu bewegen. Deshalb werden wir basierend auf dem eigenen Forschungsschwerpunkt der Faktorgraphen, sowie bestehenden Ansätzen aus der Literatur, Methoden weiterentwickeln, die eine verbesserte Bewegungsstrategie in einem dynamischen Supermarkt-Umfeld ermöglichen.
Einblicke
In Kooperation mit unserem Projektpartner Innok Robotics wurde ein Prototyp entwickelt, welcher technisch den Ansprüchen einer Supermarktumgebung entspricht. Dabei sollte der Roboter seine Umwelt nahezu lückenlos und in alle Richtungen wahrnehmen, einen hohen Freiheitsgrad in seiner Fortbewegung haben und entsprechende Schnittstellen zur Nutzerinteraktion aufweisen. Im folgenden Bild ist der aktuelle Prototyp zu sehen, welcher verschiedenste Sensorik und Aktorik besitzt. Dabei besteht die Aktorik aus einem omnidirektionalen Antrieb (höchster Freiheitsgrad in der Fortbewegung) und einem Roboterarm der Firma Franka Emika (zum autonomen Greifen von Produkten aus einem Supermarktregal).
Für eine optimale Umweltwahrnehmung besitzt der Roboter folgende Sensorik: 8 Realsense Kameras (komplette 360° Tiefenwahrnehmung), 2 Laserscanner (zur Lokalisierung und ergänzende Kollisionsvermeidung), eine IMU (für verbesserte Bewegunsschätzung) und eine 360° Kamera (für Menschenkennung in Farbbildung im gesamten Umfeld). Des Weiteren ermöglicht ein Tablet die Interaktion mit einem Nutzer. Zukünftig wird der Roboter um 3D Ultraschallsensoren unserers Projektpartners Toposens erweitert. Diese ermöglichen eine Detektion von undurchsichtigen Materialien, wie das Glas einer Vitrine (optische Sensoren haben kein geeignetes Messverfahren, um diese Art der Hindernisse zuverlässig zu erkennen).
Um Algorithmen unabhängig von Hardware und Umwelt testen zu können, ist eine Simulationsumgebung entwickelt worden, welche den Roboter selbst und den Supermarkt in verschiedenen Szenarien simulieren kann. Dafür wurde im Vorfeld eine 3D Aufnahme in einem realen EDEKA Supermarkt (Bereitstellung des Marktes durch unseren Partner EDEKA DIGITAL ) durchgeführt, um die Umgebungscharakteristik räumlich festzuhalten:
In der Simulationsumgebung V-Rep wurde anschließend eine vereinfachte Umgebung erstellt, welche sich maßgeblich am Grundriss des Marktes orientiert. Die Software V-Rep bietet den Vorteil, dass Personen sowohl statisch als auch dynamisch in der Standardbibliothek vorhanden sind und genutzt werden können. Zudem können beliebig weitere Hindernisse platziert und simuliert werden.
Mit diesem Setup bestehend aus realem Roboter und Simulation erarbeiten wir Methoden und Konzepte zur Navigation in einem dynamischen Supermarktszenario.
Publikationen
- (2021) A blind-spot-aware optimization-based planner for safe robot navigation. In Proc. of European Conference on Mobile Robotics (ECMR). DOI: 10.1109/ECMR50962.2021.9568820
- (2020) Building a navigation system for a shopping assistant robot from off-the-shelf components. In Proc. of Towards Autonomous Robotic Systems Conference (TAROS). DOI: 10.1007/978-3-030-63486-5_13
