Wir schlagen ein effizientes und robustes Transformator-basiertes Modell zur Erkennung und Antizipation von Mensch-Objekt-Interaktionen aus Videos vor. Diese verbesserte Antizipation ermöglicht es Robotern, Menschen proaktiv zu unterstützen, was zu einer effizienteren und intuitiveren Zusammenarbeit führt. Unser Modell übertrifft die State-of-the-Art-Ergebnisse bei der HOI-Erkennung und -Vorwegnahme im VidHOI-Datensatz mit einer Steigerung von 1,76 % bzw. 1,04 % in mAP und ist dabei 15,4 Mal schneller. Wir zeigen die Effektivität unseres Ansatzes durch experimentelle Ergebnisse in einem realen Roboter und demonstrieren, dass die Fähigkeit des Roboters, HOIs zu antizipieren, der Schlüssel für eine bessere Mensch-Roboter-Interaktion ist.

Esteve Valls Mascaro, Daniel Sliwowski, and Dongheui Lee, HOI4ABOT: Human-Object Interaction Anticipation for Human Intention Reading Assistive roBOTs, Conference on Robot Learning (CoRL), 2023. (Webpage, öffnet eine externe URL in einem neuen Fenster, Paper, öffnet eine externe URL in einem neuen Fenster)

HOI4ABOT Papier Übersichtsbild

Ein Mann nähert sich einer Kücheninsel mit einem Roboter. Der Roboter hilft dem Mann proaktiv, indem er ihm ein Getränk einschenkt.

Ein Mann nähert sich einer Kücheninsel mit einem Roboter. Der Roboter hilft dem Mann proaktiv, indem er ihm ein Getränk einschenkt.

In diesem Beitrag wird ein neuartiger Ansatz für das Retargeting von Mensch-Roboter-Bewegungen vorgestellt, der es Robotern ermöglicht, menschliche Bewegungen präzise zu imitieren und dabei die Semantik der Bewegung zu erhalten. Dazu schlagen wir eine Deep-Learning-Methode für die direkte Übersetzung von Menschen- zu Roboterbewegungen vor. Unsere Methode erfordert keine kommentierten Bewegungsdaten von Menschen zu Robotern, was den Aufwand bei der Einführung neuer Roboter reduziert.

Yashuai Yan, Esteve Valls Mascaro and Dongheui Lee, Unsupervised human-to-robot motion retargeting via expressive latent space, IEEE International Conference on Humanoid Robots (HUMANOIDS), pp.-, 2023 (ArXiv, öffnet eine externe URL in einem neuen Fenster, Website, öffnet eine externe URL in einem neuen Fenster)

© Esteve Valls Mascaro

Overview of the paper ImitationNet: Unsupervised human-to-robot motion retargeting via shared latent space

Overview of the paper ImitationNet: Unsupervised human-to-robot motion retargeting via shared latent space

 

Overview of the paper ImitationNet: Unsupervised human-to-robot motion retargeting via shared latent space

Matteo Pantano, Arianna Curioni, Daniel Regulin, Tobias Kamps and Dongheui Lee, Effects of Robotic Expertise and Task Knowledge on Physical Ergonomics and Joint Effciency in a Human-Robot Collaboration Task, IEEE International Conference on Humanoid Robots (HUMANOIDS), pp.-, 2023

Youssef Michel, Matteo Saveriano and Dongheui Lee, A Passivity-based Approach for Variable Stiffness Control with Dynamical Systems, IEEE Transactions on Automation Science and Engineering, pp. - , 2023

Haotian Xue, Youssef Michel, and Dongheui Lee, A Shared Control Approach Based on First-Order Dynamical Systems and Closed-Loop Variable Stiffness Control, Journal of Intelligent and Robotic Systems, pp. - , 2023

Youssef Michel, Zhendong Li, and Dongheui Lee, A Learning Based Shared Control Approach For Contact Tasks, IEEE Robotics and Automation Letters (RA-L), pp. - , 2023. DOI: 10.1109/LRA.2023.3322332

Das priorisierte Regelungsproblem ist ein Verfahren, um eine Regelungsstrategie für ein dynamisches System mit priorisierten Mehrfachausgängen zu finden, so dass es außerhalb seines nichtsingulären Bereichs arbeiten kann. Singularität führt typischerweise zu einer unvollkommenen Inversion des prioritären Steuerungsproblems, was wiederum zu einer unvollkommenen Linearisierung der Input-Output-Rückkopplung führt. In diesem Beitrag schlagen wir eine Methode vor, die auf dem Kalman-Yakubovich-Popov-Lemma basiert und nichtlineare Rückkopplungsterme kompensiert, die durch die unvollkommene Inversion des prioritären Steuerungsproblems verursacht werden. Um diese Idee zu verwirklichen, beweisen wir die Existenz einer Rückkopplungsverstärkungsmatrix, die eine streng positive reelle Übertragungsfunktion ergibt, deren Ausgangsmatrix mit der Rückkopplungsverstärkungsmatrix identisch ist. Unser Beweis ist konstruktiv, so dass eine Menge solcher Matrizen gefunden werden kann. Außerdem stellen wir einen numerischen Ansatz vor, der eine größere Menge von Rückkopplungsverstärkungsmatrizen liefert, und validieren das Ergebnis mit numerischen Beispielen.

Sang-ik An, Gyunghoon Park, and Dongheui Lee, Strictly Positive Realness-Based Feedback Gain Design Under Imperfect Input-Output Feedback Linearization in Prioritized Control Problem, IEEE Conference on Decision and Control (CDC), 2023.

Thomas Eiband, Florian Lay, Korbinian Nottensteiner, Dongheui Lee, Unifying Skill-Based Programming and Programming by Demonstration through Ontologies, Procedia Computer Science, Volume 232, 2024, Pages 595-605

Übersichtsbild für das Papier "Unifying Skill-Based Programming and Programming by Demonstration through Ontologies".

Übersichtsbild für das Papier "Unifying Skill-Based Programming and Programming by Demonstration through Ontologies".

Matteo Pantano, Vladislav Klass, Qiaoyue Yang, Akhil Sathuluri, Daniel Regulin, Lucas Janisch, Markus Zimmermann, and Dongheui Lee, Simplifying Robot Grasping in Manufacturing with a Teaching Approach based on a Novel User Grasp Metric, 5th International Conference on Industry 4.0 and Smart Manufacturing, 2023