Převedení pohybů dítěte na humanoidní roboty

Abstract

V této práci se věnujeme procesu převedení pohybu zdrojové postavy na postavu cílovou, cílem tohoto procesu je replikovat pohyb zdrojové postavy, nebo provést konkrétní úlohu stejným způsobem, jakým ji vykonala zdrojová postava. Zaměřujeme se konkrétně na převedení pohybu z kojenců v roli zdrojových postav na modely v robotických simulátorech představující postavy cílové. Jako cílové simulátory pro tento účel používáme konkrétně iCub simulátor, MIMo a Fetus simulátor. Představujeme metodu, která z 3D souřadnic klíčových bodů na těle kojenců extrahuje data pro pohyb ve formě úhlů v kloubech pomocí sekvence projekcí, trigonometrických funkcí a inverzní kinematiky. Následně demontrujeme převedení pohybu na vybrané cílové modely v simulátorech spolu s aktivací výstupů ze senzorů imitujících smysly, abychom byli schopni získat vizuální a hmatovou zpětnou vazbu. Naše výsledky rozšiřují oblast studia kojenců prostřednictvím možnosti opakovaného přehrávání pohybů kojenců. Současně umožňujeme získat informaci o kojencově perspektivě pomocí kamer umístěných v očích robotických modelů. Poskytujeme také vizualiaci z hmatových senzorů umístěných na těle robotických modelů, prostřednictvím které je možno pozorovat, kdy se části těla kojence vzájemně dotýkají. Naše výsledky mohou přispět k celkovému pochopení mechanismů raného motorického a kognitivního vývoje kojenců.

Motion retargeting describes the process of transferring a source character's motion to a target character, aiming to replicate body poses of the source character or perform specific tasks in the same way as the source character. In this work, we focus on motion retargeting involving infants as source characters and multiple robotic simulators as target characters. For this purpose, we use the iCub, MIMo, and Fetus simulators as target platforms. We present a method that extracts the movement data in the form of joint angles from 3D coordinates of keypoints on infants' bodies by using a set of projections, trigonometric functions, and inverse kinematics. We demonstrate retargeting of the infant's motion to target platforms, while simultaneously activating sensory outputs, to provide visual and tactile feedback. Our results enhance the field of studying infants through the possibility of replaying the movements and exploring the infants' perspective through cameras placed in robots' eyes. Furthermore, the visualization of tactile sensor outputs provides a better understanding of infants' interaction with their environment and provides an observation of the self-touch events. This tool may contribute to an overall understanding of the mechanisms of early infant motor and cognitive development.