Teleoperace robotické paže v reálném čase pro manipulaci sebelokalizace u lidských účastníků

Abstract

This thesis focuses on developing an application for studies based on articles [1] and [2], which investigate the role of tactile sensations, proprioceptive sensations, and signals to perform voluntary movements in constructing the spatial perception of human beings. To decouple all of these signals and study how each contributes to constructing spatial perception, a replication of the experiment from [1] and [2] was conducted. During experiment trials, the participant's left-hand movements were tracked by the motion capture system, and the Kinova Gen3 robotic arm was real-time controlled by the tracked participant's hand, providing 1D tactile extent to the participant's right arm. The experiment replication required the application to operate the robotic arm and motion capture system, synchronize them, gather data from them and participants, control experiment blocks and trials, and provide relevant information via UI. Development of such an application was started by Adam Rojík in his diploma thesis [3], but not all required features for a complete experiment replication were implemented. In the context of the current work, I extended the functionality of the Adam Rojík application, improved the code structure and software architecture, integrated unit tests, provided documentation to simplify future use and development processes of the application, and assisted the supervisors in replicating the experiments from articles [1] and [2].

Tato práce se zaměřuje na vývoj aplikace pro studie založené na článcích [1] a [2], které zkoumají roli hmatových vjemů, proprioceptivních vjemů a signálů k provádění dobrovolných pohybů při vytváření prostorového vnímání člověka. Aby bylo možné všechny tyto signály oddělit a prozkoumat, jak každý z nich přispívá ke konstrukci prostorového vnímání, byla provedena replikace experimentu z [1] a [2]. Během pokusů experimentu byly pohyby levé ruky účastníka sledovány systémem snímání pohybu a robotická ruka Kinova Gen3 byla v reálném čase řízena sledovanou rukou účastníka, což poskytovalo 1D hmatové signály pravé ruky účastníka. Replikace experimentu vyžadovala, aby aplikace ovládala robotickou ruku a systém snímání pohybu, synchronizovala je, shromažďovala od nich a od účastníků data, řídila bloky experimentu a pokusy a poskytovala příslušné informace prostřednictvím uživatelského rozhraní. Vývoj takové aplikace zahájil Adam Rojík ve své diplomové práci [3], ale ne všechny požadované funkce pro kompletní replikaci experimentu byly implementovány. V rámci této práce jsem rozšířil funkčnost aplikace Adama Rojíka, vylepšil jsem strukturu kódu a architekturu softwaru, integroval jsem unit-testy, zajistil jsem dokumentaci pro zjednodušení budoucího používání a vývoje aplikace a pomohl jsem vedoucím při replikaci experimentů z článků [1] a [2].