Technologiebasierte Service-Aufgaben wie Inbetriebnahme, Wartung und Schadensdetektion von und an industriellen Maschinen und Anlagen setzen oft Expert:innenwissen der Hersteller voraus. Aus sozialen, ökonomischen und ökologischen Gründen ist die Umsetzung von derartigen Aufgaben von hochqualifizierten Fachkräften nicht immer vor Ort leistbar. Es müssen Möglichkeiten geschaffen werden, Anwender:innen zu befähigen, entsprechende Aufgaben selbständig zu bewältigen. Hierfür fehlen bessere Lösungen für den kontextbezogenen Informationsaustausch (Einblick ins „Feld“) sowie einer möglichst barrierefreien Mensch-Mensch-Interaktion über Distanzen ähnlich der Eigenschaften einer realen Face-to-Face-Kommunikation (verbal und nonverbal). Virtuelle Technologien der Virtual und Augmented Reality (VR/AR) bieten hierfür großes Potential Unterstützung aus der Ferne zu ermöglichen.

Ziel des Forschungsprojekts TeleInteraction-XR ist die Umsetzung einer kombinierten VR- und AR-Anwendung, die entfernte Expert:innen eines Maschinen- oder Anlagenherstellers einen visuellen und räumlichen Zugang zur Maschine oder Anlage vor Ort ermöglicht. Handhabungen der Expert:innen an der virtuellen Maschine sollen digitalisiert in Echtzeit und räumlich korrekt für Anwender:innen mittels AR an der Maschine oder Anlage visualisiert werden. So sehen die Expert:innen die Sicht der Anwender:innen, während den Anwender:innen Handlungsanweisungen in ihr Sichtfeld projiziert werden.
Dadurch können Expert:innen trotz Distanz in natürlicher Weise „hinter“ den Anwender:innen im Feld über deren „Schulter schauen“ und diese bei komplexen Aufgaben anleiten und begleiten.

Aufbauend auf den VR- und AR-Remote-Systemen der beiden Entwicklungspartner werden im Rahmen eines nutzungszentrierten Entwicklungsprozesses Umsetzungsvarianten der Anwendung auf Grundlage von drei Basistechnologien entwickelt und erprobt.

In Umsetzungsstufe 1 erfolgt die Verwendung von bestehenden 3D-Modellen als digitaler Zwilling, anhand dessen Expert:innen Service-Aufgaben umsetzen und diese Handlungsanweisungen in Echtzeit in die reale Umgebung der jeweiligen Maschinen und Anlagen übertragen werden.

In Umsetzungsstufe 2 werden 360°- oder stereoskopische Bildaufnahmen vom Arbeitsraum an der realen Maschine oder Anlage in die VR übertragen.

In Umsetzungsstufe 3 soll darauf aufbauend mittels Live Volumetric Streaming eine 3D-Digitalisierung des Arbeitsraums der realen Maschinen oder Anlage die Bildübertragungen ergänzen. Ab dem ersten Projektjahr werden entsprechende Lösungen bei den am Projekt beteiligten Anwendungsunternehmen unter Begleitung arbeitswissenschaftlicher Bewertungen erprobt und evaluiert.