Navigation

Jump to main content
Robotics and Human Machine Interaction
Dissertations

Promotionen

Promotion Dr.-Ing. Christian Nißler - Verteidigung am 3. Juni 2019

Titel: Environment- and Self-Modeling through Camera-Based Pose Estimation

Autor: Christian Nißler

ISBN: 978-3-8440-7048-4

Reihe: Fortschritte in der Robotic/Progress in Robtics - Band 2

Herausgeber: Prof. Dr.-Ing. Ulrike Thomas

Verlag: Shaker Verlag, Aachen

Erscheinungsdatum: Dezember 2019

DOI: 

Schlagwörter: Pose Estimation; Calibration; Camera-Camera Calibration; Localization; Hand-Eye Calibration

Abstract Environments, in which robots can assist humans both in production tasks as well as in everyday tasks, will demand advanced capabilities of these robotic systems of cooperating with humans and other robots. To achieve this, robots should be able to navigate and manipulate in dynamic environments safely. As such, it is essential that a robot can accurately determine its pose (i.e., its position and orientation) in the environment based on optical sensors. However, both the map of the robot’s surrounding as well as its sensors can contain inaccuracies, which can cause problematic consequences. The work presented here focuses on this issue by introducing several novel computer vision-based methods. These approaches lead to a set of challenges which are addressed in this thesis. These are:

  • How accurately can a robot estimate its pose in a known environment, i.e., assuming that a precise map of its surrounding is available?
  • Secondly, how can a model of the robot’s surroundings be created if no map of its surroundings is known a priori?
  • Lastly, how can this be done if neither a priori environment models nor models of the robot’s internal state are available?

Regarding the first research question, it is shown that high accuracy can be achieved based on camera information only. This is applicable both for classical cameras and 3D cameras. To answer the second question, a method is introduced, with which a highly accurate model of a robot’s environment can be created. A significant advantage of this method is that it can run in parallel and doesn’t need either particular movements of the robot nor requirements on the type of camera images used. Extending this to the third question, it is demonstrated that simultaneously to obtaining a model of the surroundings, an internal model can be obtained employing similar approaches. An important benefit of all these methods is that they are based solely on optical sensors, namely on cameras and depth sensors. This makes these approaches very easy and cost-effective to apply to a robotic system. The introduced methods are experimentally evaluated throughout this thesis employing different mobile robotic systems, ranging from industrial manipulators to humanoid robots. Going beyond traditional robotics, this work examines how the presented methods can also be applied to human-machine interaction. It shows, that by solely visually observing the movement of the muscles in the human forearm and by employing machine learning methods, the corresponding hand gestures can be determined, opening entirely new possibilities in the control of robotic hands and hand prostheses.

Promotion Dr.-Ing. Florian Müller  - Verteidigung am 9.11.2018

Titel: Assistierende virtuelle Kraftfelder bei handgeführten Robotern

Autor: Florian Müller

ISBN: 978-3-8440-6424-7

Reihe: Fortschritte in der Robotic/Progress in Robtics - Band 1

Herausgeber: Prof. Dr.-Ing. Ulrike Thomas

Verlag: Shaker Verlag, Aachen

Erscheinungsdatum: Dezember 2018

DOI: 10.2370/9783844064247

Schlagwörter: Mensch-Roboter-Interaktion; virtuelle Kraftfelder; Menschmodell; nichtlineare Totzeitsysteme; Impedanzregelung; Nutzerstudie
Zusammenfassung: Handgeführte Schwerlastroboter werden in der Industrie eingesetzt, um Arbeitern beim Heben von schweren Lasten zu unterstützen. Diese Technologie ordnet sich in das Gesamtkonzept der Mensch-Roboter-Interaktion (MRI) ein, bei welchem sich Mensch und Roboter einen gemeinsamen Arbeitsraum teilen. Ziel der vorliegenden Arbeit ist es, die Bedienung solcher Roboter für den Nutzer zu vereinfachen und intuitiver zu gestalten. Zu diesem Zweck wurden die assistierenden Kraftfelder entwickelt, deren Algorithmus aus einer Lern- und einer Anwendungsphase besteht. In der Lernphase werden die Bewegungsdaten von erfahrenen Arbeitern innerhalb einer speziellen Arbeitsaufgabe aufgezeichnet. Aus diesen Daten wird in der Anwendungsphase ein virtuelles Kraftfeld generiert, welches den Nutzer auf die Pfade der erfahrenen Arbeiter leitet. Es wurden drei verschiedene assistierende Kraftfelder entwickelt: das tunnelförmige virtuelle Kraftfeld (TKF), das assistierende virtuelle Kraftfeld (AKF) und das AKF für anthropomorphe Roboterarme. Das TKF beeinflusst den Endeffektor des Roboters und eignet sich für alle Robotertypen. Das AKF ist eine Erweiterung des TKF und beeinflusst sowohl die Position als auch die Orientierung des Endeffektors. Dieses Kraftfeld wird eingesetzt, um die Nutzer der oben angesprochenen industriellen Schwerlastroboter zu unterstützen. Um dieses Kraftfeld für die in der MRI weit verbreiteten Leichtbauroboter zugänglich zu machen, wurde es für den Einsatz mit anthropomorphen Roboterarmen angepasst. Zusätzlich wurde die kraftfeldabhängige variable Impedanzregelung (KF-VIR) vorgestellt. Aufgrund der nichtlinearen Rückkopplung des Kraftfeldes und die durch die Reaktionszeit bedingte zeitverzögerte Rückkopplung des Menschen ist eine Stabilitätsbetrachtung des Gesamtsystems, bestehend aus Roboter, Mensch und Kraftfeld, notwendig. Für das Menschmodell wurden verschieden Ansätze mit aktiven und passiven Parametern sowie einer Reaktionszeit/Totzeit vorgestellt. Diese wurden mit in das Gesamtsystem integriert. Die resultierenden Gesamtsysteme wurden mit unterschiedlichen Methoden auf Stabilität geprüft. Zwei dieser Methoden wurden in der vorliegenden Arbeit basierend auf dem Ljapunow-Krasovskii-Funktional entwickelt und dienen zur analytischen Untersuchung von polynomialen Totzeitsystemen. Um zusätzlich Anwendungsfälle mit mehreren Nutzern betrachten zu können, wurden Modelle und Methoden entsprechend angepasst und ebenfalls untersucht. Aus all diesen Untersuchungen resultierten unter anderem konservative analytische Stabilitätsgrenzen im Parameterraum. Mit Hilfe von Simulationsstudien und anschließenden experimentellen Validierungen wurden verschiedene Parametrierungseinstellungen des AKF und des KF-VIR untersucht. Daraus leiteten sich Parametrierungsrichtlinien für spätere Anwender ab. Um zu untersuchen, ob sich die Bedienung eines im Gelenkraum geregelten handgeführten Roboter durch den Einsatz des AKF verbessert, wurden eine Nutzerstudie unter Laborbedingungen mit 42 Probanden und eine praxisorientierte Nutzerstudie mit 24 Probanden durchgeführt. Bei den Versuchen mit AKF reduzierte sich die Fehleranzahl der Probanden im Schnitt um die Hälfte. Des Weiteren zeigten die Ergebnisse bezüglich Versuchsdauer, Arbeitsbelastung und Nutzerkomfort ebenfalls signifikante Verbesserungen mit großen Effekten.

Press Articles