Jump to main content
Robotics and Human Machine Interaction


Promotion Dr.-Ing. Yitao Ding - Verteidigung am 15. Juli 2022

Titel: Fast Perception-Action Loops with Proximity Sensors for Robotic Manipulators

Autor: Yitao Ding

ISBN: 978-3-8440-8762-8

Reihe: Fortschritte in der Robotik/Progress in Robotics - Band 3

Herausgeber: Prof. Dr.-Ing. Ulrike Thomas

Verlag: Shaker Verlag, Aachen

Erscheinungsdatum: September 2022


Schlagwörter: Proximity Servoing; Proximity Perception; Capacitive Proximity Sensors; Reactive Motions; Obstacle Avoidance; Collision Avoidance; Impact Attenuation

Abstract: Proximity sensors attached to the outer shell of robotic manipulators provide fast and occlusion-free perception capabilities of the robot’s nearby environment. They offer a solution towards fenceless collaborative workspaces by closing the gap in perception be- tween (3D depth) cameras and tactile/force sensing. The perception gap occurs at the robot’s close range, where external cameras provide insufficient information due to noise, resolution, and occlusion, and where tactile sensors remain untriggered. This thesis ex- amines the fast perception-action loop of such systems to increase safety with reactive obstacle and collision avoidance motions and proactive adaption for impact attenuation. The loop consists of three elements: proximity perception, reactive motion generation, and the proactive adaption of the robot parameters. The first part of the safety chain shows an on-robot proximity perception system. The concept behind the system is to combine two sensors. Laser-based time-of-flight sensing is used for far-range while capacitive proximity detection covers the blind areas by wide- area detection. A novel custom-designed capacitive proximity sensor is presented that is robust against different grounding conditions of obstacles, a significant issue of con- ventional capacitive proximity sensors. The perception system has characteristic features by providing rich near-field information with a limited quantity of measurement points, minimizing the amount of redundant information, and thus increasing responsiveness. Reactive motions require only a few data points for fast motion generation and benefit from these features, especially for collision avoidance, where instantaneous adjustments of the robot’s trajectory are mandatory. This thesis proposes two methods, one based on finding an avoidance vector with sampling in orthogonal directions towards the obsta- cle and another one by extending quadratic optimization to integrate the avoidance task within optimization constraints. Compared to common repulsive motions for collision avoidance, the proposed motion generators are less restrictive. They make full use of the robot’s redundancy for task retention and provide solutions for multi-obstacle whole-arm obstacle avoidance. The algorithms further focus on evasive motions to bypass obstacles to decrease the risk of the robot freezing problem appearing. A phenomenon in which the robot gets stuck in local minima where it stops before obstacles in an equilibrium state of attraction towards the goal and repulsion from the obstacle. The third part addresses the issue that collisions cannot always be prevented because the required avoidance motion exceeds the robot’s motion capabilities. The last safety layer relies on the anticipation of contacts with proximity sensors to enhance the effectiveness impedance controllers for impact attenuation. The first measure modulates the stiffness of the impedance controllers as required, allowing faster, more accurate motions during regular operation while maintaining safety. A high stiffness setup suppresses positional disturbances during regular operation of the robot for high accuracy. The stiffness de- creases only before impacts with safety as highest priority. The second measure slightly modifies the joint configuration to decrease the effective inertia of the manipulator at the impact point.

Promotion Dr.-Ing. Christian Nißler - Verteidigung am 3. Juni 2019

Titel: Environment- and Self-Modeling through Camera-Based Pose Estimation

Autor: Christian Nißler

ISBN: 978-3-8440-7048-4

Reihe: Fortschritte in der Robotik/Progress in Robotics - Band 2

Herausgeber: Prof. Dr.-Ing. Ulrike Thomas

Verlag: Shaker Verlag, Aachen

Erscheinungsdatum: Dezember 2019


Schlagwörter: Pose Estimation; Calibration; Camera-Camera Calibration; Localization; Hand-Eye Calibration

Abstract: Environments, in which robots can assist humans both in production tasks as well as in everyday tasks, will demand advanced capabilities of these robotic systems of cooperating with humans and other robots. To achieve this, robots should be able to navigate and manipulate in dynamic environments safely. As such, it is essential that a robot can accurately determine its pose (i.e., its position and orientation) in the environment based on optical sensors. However, both the map of the robot’s surrounding as well as its sensors can contain inaccuracies, which can cause problematic consequences. The work presented here focuses on this issue by introducing several novel computer vision-based methods. These approaches lead to a set of challenges which are addressed in this thesis. These are:

  • How accurately can a robot estimate its pose in a known environment, i.e., assuming that a precise map of its surrounding is available?
  • Secondly, how can a model of the robot’s surroundings be created if no map of its surroundings is known a priori?
  • Lastly, how can this be done if neither a priori environment models nor models of the robot’s internal state are available?

Regarding the first research question, it is shown that high accuracy can be achieved based on camera information only. This is applicable both for classical cameras and 3D cameras. To answer the second question, a method is introduced, with which a highly accurate model of a robot’s environment can be created. A significant advantage of this method is that it can run in parallel and doesn’t need either particular movements of the robot nor requirements on the type of camera images used. Extending this to the third question, it is demonstrated that simultaneously to obtaining a model of the surroundings, an internal model can be obtained employing similar approaches. An important benefit of all these methods is that they are based solely on optical sensors, namely on cameras and depth sensors. This makes these approaches very easy and cost-effective to apply to a robotic system. The introduced methods are experimentally evaluated throughout this thesis employing different mobile robotic systems, ranging from industrial manipulators to humanoid robots. Going beyond traditional robotics, this work examines how the presented methods can also be applied to human-machine interaction. It shows, that by solely visually observing the movement of the muscles in the human forearm and by employing machine learning methods, the corresponding hand gestures can be determined, opening entirely new possibilities in the control of robotic hands and hand prostheses.

Promotion Dr.-Ing. Florian Müller  - Verteidigung am 9.11.2018

Titel: Assistierende virtuelle Kraftfelder bei handgeführten Robotern

Autor: Florian Müller

ISBN: 978-3-8440-6424-7

Reihe: Fortschritte in der Robotik/Progress in Robotics - Band 1

Herausgeber: Prof. Dr.-Ing. Ulrike Thomas

Verlag: Shaker Verlag, Aachen

Erscheinungsdatum: Dezember 2018

DOI: 10.2370/9783844064247

Schlagwörter: Mensch-Roboter-Interaktion; virtuelle Kraftfelder; Menschmodell; nichtlineare Totzeitsysteme; Impedanzregelung; Nutzerstudie
Zusammenfassung: Handgeführte Schwerlastroboter werden in der Industrie eingesetzt, um Arbeitern beim Heben von schweren Lasten zu unterstützen. Diese Technologie ordnet sich in das Gesamtkonzept der Mensch-Roboter-Interaktion (MRI) ein, bei welchem sich Mensch und Roboter einen gemeinsamen Arbeitsraum teilen. Ziel der vorliegenden Arbeit ist es, die Bedienung solcher Roboter für den Nutzer zu vereinfachen und intuitiver zu gestalten. Zu diesem Zweck wurden die assistierenden Kraftfelder entwickelt, deren Algorithmus aus einer Lern- und einer Anwendungsphase besteht. In der Lernphase werden die Bewegungsdaten von erfahrenen Arbeitern innerhalb einer speziellen Arbeitsaufgabe aufgezeichnet. Aus diesen Daten wird in der Anwendungsphase ein virtuelles Kraftfeld generiert, welches den Nutzer auf die Pfade der erfahrenen Arbeiter leitet. Es wurden drei verschiedene assistierende Kraftfelder entwickelt: das tunnelförmige virtuelle Kraftfeld (TKF), das assistierende virtuelle Kraftfeld (AKF) und das AKF für anthropomorphe Roboterarme. Das TKF beeinflusst den Endeffektor des Roboters und eignet sich für alle Robotertypen. Das AKF ist eine Erweiterung des TKF und beeinflusst sowohl die Position als auch die Orientierung des Endeffektors. Dieses Kraftfeld wird eingesetzt, um die Nutzer der oben angesprochenen industriellen Schwerlastroboter zu unterstützen. Um dieses Kraftfeld für die in der MRI weit verbreiteten Leichtbauroboter zugänglich zu machen, wurde es für den Einsatz mit anthropomorphen Roboterarmen angepasst. Zusätzlich wurde die kraftfeldabhängige variable Impedanzregelung (KF-VIR) vorgestellt. Aufgrund der nichtlinearen Rückkopplung des Kraftfeldes und die durch die Reaktionszeit bedingte zeitverzögerte Rückkopplung des Menschen ist eine Stabilitätsbetrachtung des Gesamtsystems, bestehend aus Roboter, Mensch und Kraftfeld, notwendig. Für das Menschmodell wurden verschieden Ansätze mit aktiven und passiven Parametern sowie einer Reaktionszeit/Totzeit vorgestellt. Diese wurden mit in das Gesamtsystem integriert. Die resultierenden Gesamtsysteme wurden mit unterschiedlichen Methoden auf Stabilität geprüft. Zwei dieser Methoden wurden in der vorliegenden Arbeit basierend auf dem Ljapunow-Krasovskii-Funktional entwickelt und dienen zur analytischen Untersuchung von polynomialen Totzeitsystemen. Um zusätzlich Anwendungsfälle mit mehreren Nutzern betrachten zu können, wurden Modelle und Methoden entsprechend angepasst und ebenfalls untersucht. Aus all diesen Untersuchungen resultierten unter anderem konservative analytische Stabilitätsgrenzen im Parameterraum. Mit Hilfe von Simulationsstudien und anschließenden experimentellen Validierungen wurden verschiedene Parametrierungseinstellungen des AKF und des KF-VIR untersucht. Daraus leiteten sich Parametrierungsrichtlinien für spätere Anwender ab. Um zu untersuchen, ob sich die Bedienung eines im Gelenkraum geregelten handgeführten Roboter durch den Einsatz des AKF verbessert, wurden eine Nutzerstudie unter Laborbedingungen mit 42 Probanden und eine praxisorientierte Nutzerstudie mit 24 Probanden durchgeführt. Bei den Versuchen mit AKF reduzierte sich die Fehleranzahl der Probanden im Schnitt um die Hälfte. Des Weiteren zeigten die Ergebnisse bezüglich Versuchsdauer, Arbeitsbelastung und Nutzerkomfort ebenfalls signifikante Verbesserungen mit großen Effekten.