Vorhersage der Mensch-Objekt-Interaktion in Videos durch Blickverfolgung

Das Verständnis der Mensch-Objekt-Interaktionen (HOIs) aus einem Video ist für das vollständige Verständnis einer visuellen Szene unerlässlich. Der vorgeschlagene Ansatz nutzt menschliche Blickinformationen, Szenenkontexte und visuelle Erscheinungen von Mensch-Objekt-Paaren durch einen räumlich-zeitlichen Transformator, um HOIs in Videos zu erkennen und vorauszusehen. Das Modell übertrifft den Stand der Technik bei der HOI-Erkennung im größten Video-HOI-Datensatz, VidHOI, um ein Vielfaches.

Ni, Zhifan., Esteve Valls Mascaró., Hyemin Ahn, & Dongheui Lee.  Human-object interaction prediction in videos through gaze following, Computer Vision and Image Understanding,  2023. Webpage, öffnet eine externe URL in einem neuen Fenster

HOI prediction Paper

© Esteve Valls Mascaro

HOI prediction Paper

HOI prediction Paper

Langfristige Planung und Ausführung mit funktionalen objektorientierten Netzen

Im Anschluss an die Arbeit an gemeinsamen Objekt-Aktions-Darstellungen wurden funktionale objektorientierte Netzwerke (FOON) als Wissensgraphen-Darstellung für Roboter eingeführt. Ein FOON enthält symbolische Konzepte, die für das Verständnis eines Roboters von Aufgaben und seiner Umgebung für die Planung auf Objektebene nützlich sind. Wir führen damit die Idee ein, Wissen auf Objektebene als FOON für die Planung und Ausführung von Aufgaben zu nutzen.

David Paulius, Alejandro Agostini, Dongheui Lee, Long-Horizon Planning and Execution with Functional Object-Oriented Networks, IEEE Robotics and Automation Letters (RA-L), 2023. DOI: 10.1109/LRA.2023.3285510 . Webpage, öffnet eine externe URL in einem neuen Fenster

Long-Horizon Planning and Execution with Functional Object-Oriented Networks

© Dongheui Lee

PDDL

Long-Horizon Planning and Execution with Functional Object-Oriented Networks

Näherungsweise Schätzung von Muskelaktivierungsmustern für die Tele-Impedanz

Unser Ziel ist es, die menschliche Fähigkeit der Endpunkt-Steifigkeitsanpassung allein auf der Grundlage von RGB-Bildern auf den Roboter zu übertragen. Zu diesem Zweck führen wir ein Modell namens Muskelaktivierungsmuster-Schätzer (MAPE) ein. MAPE kann ableiten:

  1. Ob der Muskel aktiviert oder inaktiviert ist (statische Zustände).
  2. Ob der Grad der Muskelaktivierung zunimmt, stabil ist oder abnimmt (zeitliche Zustände).

Hyemin Ahn, Youssef Michel, Thomas Eiband and Dongheui Lee, Vision-based Approximate Estimation of Muscle Activation Patterns for Tele-Impedance, IEEE Robotics and Automation Letters (RA-L), pp. - , 2023

 

Vision-based Approximate Estimation of Muscle Activation Patterns for Tele-Impedance

© Hyemin Ahn

Vision-based Approximate Estimation of Muscle Activation Patterns for Tele-Impedance

Vision-based Approximate Estimation of Muscle Activation Patterns for Tele-Impedance

Koordination, die zu einer gegenphasigen Beziehung tendiert, bestimmt eine stärkere Schwankungsreduzierung während des Entrainments mit einem simulierten Partner

Für die Entwicklung effektiver Gleichgewichtsunterstützungsroboter für sturzgefährdete ältere Menschen ist das Verständnis des gleichzeitigen Auftretens von Mitnahme und Schwankungsreduktion in der Mensch-Mensch-Interaktion entscheidend. Diese Studie untersucht die Auswirkungen verschiedener simulierter schwankungsanfälliger Interaktionspartner auf die Mitnahme von Schwankungen, die Schwankungsreduktion, die relative zwischenmenschliche Koordination und die Genauigkeit des individuellen Körperschemas. Unsere Ergebnisse zeigen, dass bestimmte Interaktionsmodi, wie z.B. der Repulsor, zu einer Verringerung des Körperschwingens und einer verbesserten zwischenmenschlichen Koordination führen, was die Bedeutung eines akkuraten Körperschemas und antiphasischer Beziehungen für die Verringerung des Schwankens unterstreicht.

Youssef Michel, Katrin Schulleri, Leif Johannsen, and Dongheui Lee, Coordination tending towards an anti-phase relationship determines greater sway reduction during entrainment with a simulated partner, Human Movement Science, vol. 89, 103090, 2023. doi: 10.1016/j.humov.2023.103090

 

Coordination tending towards an anti-phase relationship determines greater sway reduction during entrainment with a simulated partner

© Youssef Michel, Katrin Schulleri

Coordination tending towards an anti-phase relationship determines greater sway reduction during entrainment with a simulated partner

Coordination tending towards an anti-phase relationship determines greater sway reduction during entrainment with a simulated partner

Schätzung der 6D-Pose von Objekten auf der Grundlage einer Variante eines adversarischen Autoencoders

In diesem Beitrag wird eine Methode zur Schätzung der 6D-Pose von Objekten unter Verwendung eines texturlosen Datensatzes vorgeschlagen, bei der die Pose durch Rendering des 3D-Modells und die Orientierung durch einen latenten Raum aus RGB-Bildern dargestellt wird, wobei eine Variante des Adversarial-Autoencoder-Netzwerks verwendet wird. Die experimentellen Ergebnisse zeigen, dass die vorgeschlagene Methode eine bessere Genauigkeit bei der Schätzung der Objektposition erreicht als eine Methode nach dem Stand der Technik.

Huang Dan, Hyemin Ahn, Shile Li, Yueming Hu, and Dongheui Lee, Estimation of 6D pose of objects based on a variant adversarial autoencoder, Neural Processing Letters, 2023. DOI: 10.1007/s11063-023-11215-2

 

Vision-based Approximate Estimation of Muscle Activation Patterns for Tele-Impedance

© Dongheui Lee

Vision-based Approximate Estimation of Muscle Activation Patterns for Tele-Impedance