TU Chemnitz Forschung Projekte MANUACT – Hands and Objects in Language, Culture and Technology: Manual Actions at Workplaces between Robotics, Gesture and Product Design

MANUACT – Hands and Objects in Language, Culture and Technology: Manual Actions at Workplaces between Robotics, Gesture and Product Design

MANUACT – Hands and Objects in Language, Culture and Technology: Manual Actions at Workplaces between Robotics, Gesture and Product Design

Finanzierung

BMBF (13918503)

Projektpartner

Professur Germanistische Sprachwissenschaft, TU ChemnitzSächsisches Industriemuseum

Projektlaufzeit

April, 2015 bis März, 2018

Webseite

Motivation und Zielstellung


Der "natürlichen" Interaktion mittels Gesten wird für die Mensch-Maschine-Interkation eine hohe praktische Relevanz beigemessen. Allerdings stehen nur wenige Forschungsergebnisse zur Gestaltung intuitiver Gestenschnittstellen bereit und die Untersuchung von anwendungsspezifischen Gesten ist in der Praxis zu aufwendig. Am Beispiel typischer Selektions-, Manipulations- und Navigationsaufgaben (vergleiche Abb. 1), die mittels gestenbasierter 3D-Eingabegeräte steuerbar sind, sollte deshalb mit explorativen Nutzertests untersucht werden, welche Gesten als Bedienstrategien durch Nutzer typischerweise spontan hervorgebracht werden. Ziel war es, dargebotene Gesten auf der Basis ihrer Ähnlichkeit zueinander zu Typen intuitiver Gestenbefehle zusammenzufassen, anhand von arbeitswissenschaftlichen Kriterien zu bewerten und in einem Manual zusammenzufassen. Ein digitales Gestenmanual soll damit eine Entscheidungshilfe bieten, um bei der Implementierung von Gesten-Sets, geeignete Gesten auszuwählen und somit die berührungslose Freihandbedienung intuitiver zu gestalten.
 

Abb. 1: Typische Arbeitsaufgaben der Mensch-Computer-Interaktion

Vorgehensweise


  1. Um ein arbeitswissenschaftlich orientiertes Manual für Objektgebrauchsgesten und -handlungen konzipieren und letztlich umsetzen zu können, war es zunächst grundlegend erforderlich, ein strukturiertes Literature Review durchzuführen. So gelang es, Parameter eines intuitiven Nutzungserlebens bei der Gestensteuerung interaktiver Systeme und Anforderungen an natürliche User Interfaces abzuleiten.
  2. Darauf aufbauend konnten die eine „natürliche“ Gestenbedienung anzeigenden Konstrukte, wie etwa Komfortempfinden, geringe Beanspruchung der oberen Extremitäten, Intuitivität, Effizienz, Effektivität oder ein einfaches Erinnern an Gestenfolgen, entsprechend der festgelegten Untersuchungsziele operationalisiert werden.
  3. Nachfolgend ist ein explorativer Nutzertest konzipiert und durchgeführt worden. Unter Berücksichtigung der genannten Parameter wurden dabei Gesten erfasst, bewertet und katalogisiert, die Probanden bei der Bearbeitung typischer Aufgaben bei 3D-Topographieanwendungen darbieten. In dieser Studie kamen geeignete Methoden des Usability Engineerings zum Einsatz.
  4. Um die Generalisier- und Übertragbarkeit der Ergebnisse der Nutzerstudien (vergleiche Abb. 2) prüfen und erweitern zu können, wurde zusätzlich ein Versuchsdesign für gestenbasierte Manipulations-, -Selektions- und Navigationsaufgaben bei Desktop-Anwendungen abgeleitet. Auf Grundlage der Ergebnisse der Vorversuche fanden die eigentlichen Usability-Tests statt. Am Beispiel typischer Selektions-, Manipulations- und Navigationsaufgaben, die mittels gestenbasierter 3D-Eingabegeräte steuerbar sind, wurde in Usability-Tests untersucht, welche Gesten als Bedienstrategien durch Nutzer typischerweise spontan hervorgebracht werden. Ziel war es, die dargebotenen Gesten zu Typen intuitiver Gestenbefehle zusammenzufassen. Mit den Aufgaben zugeordneten Gestentypen soll es Entwicklern möglich sein, Schnittstellen, die mittels gestenbasierter Freihandbedienung zu steuern sind, intuitiver zu gestalten.
  5. Die Usability-Tests wurden entlang der Parameter eines intuitiven Nutzungserlebens bei der Gestensteuerung interaktiver Systeme ausgewertet. Die von 89 Probanden für insgesamt 17 typischen Manipulations-, Selektions- und Navigationsaufgaben dargebotenen Gestenbefehle sind mittels geeigneter Beschreibungs- und Vergleichsparameter aus den Disziplinen der Linguistik und Mensch-Maschine-Forschung hinsichtlich Ähnlichkeit verglichen und zu Typen verdichtet worden.
  6. Diese Typen und ihre Varianten sind für die einzelnen Aufgaben in einem prototypischen Gestenmanual katalogisiert worden. Dieses prototypisch vorliegende Manual enthält neben einer visuellen und prosaischen Beschreibung der typischen Gestenkommandos auch eine numerische Auswertung der natürliche Gestenbedienung anzeigenden Faktoren, wie Komfortempfinden, geringe Beanspruchung der oberen Extremitäten, Intuitivität, Effizienz, Effektivität oder ein einfaches Erinnern an die Gestenbefehle.
  7. Hinsichtlich eines breitenwirksamen Transfers der Projektergebnisse wurde zum einen ein digitales Gestenmanual erstellt. Um zusätzlich zu Entwicklern auch interessierte Laien mit dem Manual zu adressieren, wurden verschiedene niedrigschwellige Varianten des Gestenmanuals als Mock Ups umgesetzt und von Usability Experten hinsichtlich ihrer Gebrauchstauglichkeit bewertet. Das Manual wurde anschließend als Online-Tool umgesetzt und so für Wissenschaftler, Entwicklung und die interessierte Allgemeinheit frei zur Verfügung gestellt.
  8. Zum anderen wurde ein interaktiver Demonstrator konzipiert und umgesetzt, der innerhalb der Sonderausstellung „Gesten – gestern, heute, übermorgen“ im Sächsischen Industriemuseum ausgestellt wurde. Der Demonstrator nutzt Forschungserkenntnisse des Projektes und macht anhand einer beispielhaften Industrieanwendung die Gestenbedienung erlebbar. Dabei adressiert der Demonstrator innerhalb der Ausstellung mit dem Anwendungsfall Industrie 4.0 das Thema „übermorgen“.
Usability-Test
Abb. 2: Probandenstudien

Ergebnisse


Am Ende des Projektes steht ein Manual für die Gestaltung von intuitiven Mensch-Maschine-Schnittstellen, die mit Gestenbedienung steuerbar sind. Entwickler finden darin für als typisch definierte Selektions-, Manipulations- und Navigationsaufgaben von Nutzern als Bedienstrategien hervorgebrachte, typische Gestenbefehle. Diese zu Typen zusammengefassten Gestenbefehle werden durch weitere erhobene Daten wie etwa dem subjektiv wahrgenommenen Komfort- und Belastungsempfinden sowie der Fähigkeit der Probanden, sich an das dargebotene Gestenkommando zu erinnern, im Manual näher beschrieben. Durch den Einsatz des Manuals gelingt es Entwicklern, Gestenvokabulare in interaktive Systeme zu implementieren, die als intuitiv wahrgenommen werden, weil sie auf realweltlichen Objektgebrauchsgesten der Nutzer gründen.

Zum digitalen Gestenmanual >>.

 

Abb. 3: Digitales Gestenmanual (www.gestenmanual.de)

Ansprechpartner


Konferenzbeiträge


Seeling, T. Dittrich, F.Bullinger, A.C. (2018). Digitales Gestenmanual zur Gestaltung einer natürlichen gestenbasierten Interaktion zwischen Mensch und Maschine. ARBEIT(s).WISSEN.SCHAF(f)T - Grundlage für Management & Kompetenzentwicklung, Tagungsband 64. Frühjahrskongress der Gesellschaft für Arbeitswissenschaft (GfA).
26.02.2018
, Frankfurt/Main (S. ).

Seeling, T.Bullinger, A. C. (2017). Natürliche User Interfaces mit Anwendern gestalten - Eine Handreichung für die Gestaltung intuitiver Gesten-Sets. In: Gesellschaft für Arbeitswissenschaft e.V. (Hrsg.), Soziotechnische Gestaltung des digitalen Wandels – kreativ, innovativ, sinnhaft, 63. Kongress der Gesellschaft für Arbeitswissenschaft (GfA). (S. ). Dortmund: GfA-Press.

Seeling, T.; Bullinger, A.C. (2017). Intuitiv bedient. Ein Gestemanual für die Gestaltung intuitiver Gesten-Sets in interaktiven Systemen. Grenzen. Kontakt - Kommunikation - Kontrast, Tagungsband 15. Internationaler Kongress der Deutschen Gesellschaft für Semiotik.
12.09.2017 bis 15.09.2017
, Passau (S. 82-84).

Seeling, T. Dittrich, F. Fricke, E. Bullinger, A. C. (2016). Gestenbasierte Google-Earth-Bedienung. Implikationen für ein natürliches Gesten-Set am Beispiel einer 3D-Topographieanwendung. In: Gesellschaft für Arbeitswissenschaft e.V. (Hrsg.), Arbeit in komplexen Systemen – Digital, vernetzt, human?!, 62. Kongress der Gesellschaft für Arbeitswissenschaft. (S. 88-92). Dortmund: GfA-Press.

Fricke, E.Seeling, T.Lynn, U.Schöller, D.Bullinger, A. (2016). Hände und Objekte: Perspektiven linguistischer Gestenforschung für die Gestaltung von Mensch-Maschine-Schnittstellen. 3D Sensation, Tagungsband innteract conference 2016.
22.06.2016 bis 24.06.2016
, Chemnitz (S. ).

Fricke, E.Seeling, T.Lynn, U.Schöller, D.Bullinger, A. (2016). Gesture, virtual globes and technological innovation: Metaphorical concepts as basis for gesturally steering Google Earth with Leap Motion. Gesture - Creativity - Multimodality, Tagungsband 7th Conference of the International Society for Gesture Studies (ISGS).
18.07.2016 bis 22.07.2016
, Paris (S. ).

Seeling, T.Fricke, E.Schöller, D.Bullinger, A.C. (2016). Natürliche User Interfaces durch das Einbeziehen von Nutzern gestalten. Implikationen für ein Entwickler-Gestenmanual. Mensch-Technik-Interaktion im Industrie 4.0 Zeitalter, Tagungsband 8. VDI/VDE Fachtagung USEWARE.
06.10.2016 bis 07.10.2016
, Dresden (S. 65-81).