Neurorobotik
Current Topic
Neurorobotik 

LLM-basierte Sprachinteraktion mit Wizard-of-Oz-Roboter-Telemanipulation

Image of the building of a shelf between human and robotIllustration

Im Kontext von Industrie 5.0 rückt die Zusammenarbeit von Mensch und Roboter stärker in den Fokus. Dabei ist jedoch unklar, wie Menschen mit intelligenten Robotersystemen kommunizieren. Für eine linguistisch-robotischen Studie soll ein System entwickelt werden, das LLM-basierte Sprachinteraktion und Wizard-of-Oz-Steuerung für einen kollaborativen Roboter (Cobot) gleichzeitig ermöglicht. Das Ziel dieser Arbeit ist die konzeptionelle und technische Umsetzung eines parallelen Interaktionsmodells, bei dem:

  • das LLM kontinuierlich Spracheingaben analysiert, Antworten generiert und die Interaktionsführung übernimmt,
  • der Wizard in Echtzeit die physische Ausführung des Cobots steuert und
  • beide Prozesse synchronisiert bleiben (z. B. durch Statusmeldungen, Kontrollsignale oder eine gemeinsame Kontextrepräsentation).
Die bestehende Telemanipulationslösung aus der Vorstudie muss nur funktional eingebunden werden. Bei der Software-Entwicklung sind folgende Punkte zu beachten:
  • parallele Verarbeitung von Sprache und Wizard-Aktionen,
  • klare Fallback-Mechanismen, ein einfaches Wizard-Interface sowie das
  • Logging aller Interaktionsereignisse.
Für die Arbeit steht ein vollständiger HRI-Aufbau mit Mikrofon, Lautsprecher und Kameras bereit. Grundlage ist ein flüssiges Deutsch, da die Studien in Deutsch erfolgen werden.

Advisor:

Requirements:

  • Basic knowledge in ROS
  • Basic knowledge in LLMs.
pdf