Die Synthese menschlicher Bewegungen wurde traditionell mit aufgabenabhängigen Modellen angegangen, die sich auf spezifische Herausforderungen konzentrieren, wie z. B. die Vorhersage zukünftiger Bewegungen oder das Ausfüllen von Zwischenpositionen, die von bekannten Schlüsselpositionen abhängen. In diesem Beitrag stellen wir ein neuartiges aufgabenunabhängiges Modell namens MASK-M vor, das diese Herausforderungen mithilfe einer einheitlichen Architektur effektiv bewältigen kann. Unser Modell erreicht eine vergleichbare oder bessere Leistung als der Stand der Technik in jedem Bereich. Inspiriert von Vision Transformers (ViTs), zerlegt unser MASK-M Modell eine menschliche Pose in Körperteile, um die räumlich-zeitlichen Beziehungen in der menschlichen Bewegung zu nutzen. Darüber hinaus formulieren wir verschiedene positionsbedingte Bewegungssyntheseaufgaben als Rekonstruktionsproblem mit verschiedenen Maskierungsmustern als Eingabe um. Indem wir unser Modell explizit über die maskierten Gelenke informieren, wird unser MASK-M robuster gegenüber Verdeckungen. Experimentelle Ergebnisse zeigen, dass unser Modell erfolgreich menschliche Bewegungen auf dem Human3.6M-Datensatz vorhersagt. Darüber hinaus erzielt es im LaFAN1-Datensatz die besten Ergebnisse beim Bewegungs-Inbetweening, insbesondere bei langen Übergangszeiten.

Esteve Valls Mascaro, Hyemin Ahn and Dongheui Lee, A Unified Masked Autoencoder with Patchified Skeletons for Motion Synthesis, AAAI Conference on Artificial Intelligence (2024). (ArXiV, öffnet eine externe URL in einem neuen Fenster, Webpage, öffnet eine externe URL in einem neuen Fenster)

© Esteve Valls Mascaro

AAAI Overall Motivation

AAAI Overall Motivation

AAAI Overall Motivation

Das Programmieren durch Demonstration findet immer mehr Anwendung in der Industrie, so dass Nicht-Experten neue Aufgaben ohne manuelle Programmierung erlernen können. manuelles Schreiben von Code. Ab einem bestimmten Komplexitätsgrad, wie z. B. bei der Online-Entscheidungsfindung oder der Definition von Wiederherstellungs erfordern jedoch immer noch Experten, die konventionelle Programmiermethoden anwenden. Auch wenn Experten nicht alle möglichen Fehler in einer Fehler in einer Roboteranwendung vorhersehen. Um dem zu begegnen, stellen wir einen Rahmen vor, in dem Benutzer und Roboter gemeinsam eine Aufgabe programmieren Aufgabe programmieren, die Online-Entscheidungsfindung und Wiederherstellungsverhalten beinhaltet. Dabei wird ein Aufgabendiagramm erstellt, das eine Produktionsaufgabe Aufgabe und mögliche alternative Verhaltensweisen darstellt. Knoten repräsentieren Start-, End- oder Entscheidungszustände und Links definieren Aktionen für die Ausführung. Dieser Graph kann inkrementell durch autonome Anomalieerkennung erweitert werden, die den Benutzer auffordert, Wissen für eine bestimmte Wiederherstellungsaktion. Neben dem von uns vorgeschlagenen Ansatz stellen wir zwei alternative Ansätze vor, die die Wiederherstellung verwalten Verhaltensprogrammierung und vergleichen alle Ansätze ausgiebig in einer Nutzerstudie mit 21 Probanden. Diese Studie zeigte die Stärke unseres Rahmens und analysierte, wie Benutzer handeln, um dem Roboter Wissen hinzuzufügen. Unsere Ergebnisse sprechen für die Verwendung eines Rahmens mit einer aufgabenbasierten Wissensrepräsentation und einer autonomen Anomalieerkennung nicht nur zur Initiierung von Wiederherstellungsmaßnahmen sondern vor allem, um diese an einen Roboter zu übertragen.

Thomas Eiband, Christoph Willibald, Isabel Tannert, Bernhard Weber, and Dongheui Lee, Collaborative Programming of Robotic Task Decisions and Recovery Behaviors. Autonomous Robots (AURO), 47(2), 229-247, 2023. DOI:10.1007/s10514-022-10062-9. Paper, öffnet eine externe URL in einem neuen Fenster

© Thomas Eiband

Collaborative programming of robotic task decisions and recovery behaviors

Collaborative programming of robotic task decisions and recovery

behaviors

Collaborative programming of robotic task decisions and recovery behaviors

Die intelligente Fertigung erfordert leicht rekonfigurierbare Robotersysteme, um die Flexibilität bei Marktunsicherheiten zu erhöhen und die Rüstzeiten für neue Aufgaben zu reduzieren. Eine Möglichkeit zur schnellen Rekonfigurierbarkeit bieten intuitive Methoden der Roboterprogrammierung. Einerseits ermöglicht die Offline-Skill-based-Programmierung (OSP) die Definition neuer Aufgaben durch die Abfolge vordefinierter, parametrisierbarer Bausteine, die als Skills bezeichnet werden, in einer grafischen Benutzeroberfläche. Andererseits ist die Programmierung durch Demonstration (PbD) eine bekannte Technik, die kinästhetischen Unterricht für die intuitive Programmierung von Robotern nutzt, wobei diese Arbeit einen Ansatz zur automatischen Erkennung von Fertigkeiten aus der menschlichen Demonstration und deren Parametrisierung anhand der aufgezeichneten Daten vorstellt. Der Ansatz vereinheitlicht die beiden Programmiermodi OSP und PbD mit Hilfe einer ontologischen Wissensbasis und ermöglicht es dem Endbenutzer, den bevorzugten Modus für jede Phase der Aufgabe zu wählen. In den Experimenten evaluieren wir zwei Szenarien mit unterschiedlichen Sequenzen von Programmiermodi, die vom Benutzer ausgewählt werden, um eine Aufgabe zu definieren. In jedem Szenario werden die Fähigkeiten durch einen datengesteuerten Klassifikator erkannt und automatisch aus den aufgezeichneten Daten parametrisiert. Die vollständig definierten Aufgaben bestehen sowohl aus manuell hinzugefügten als auch aus automatisch erkannten Fähigkeiten und werden im Kontext einer realistischen industriellen Montageumgebung ausgeführt.

Thomas Eiband, Florian Lay, Korbinian Nottensteiner, Dongheui Lee, Automatic Skill Recognition in a Knowledge-driven Robot Programming Framework, 5th International Conference on Industry 4.0 and Smart Manufacturing, 2023. (Paper, öffnet eine externe URL in einem neuen Fenster)

Automatic Skill Recognition in a Knowledge-driven Robot Programming Framework

Automatic Skill Recognition in a Knowledge-driven Robot Programming Framework

Automatic Skill Recognition in a Knowledge-driven Robot Programming Framework