Pravděpodobnostní přístup k ovládání robotického ramene pomocí gest

Abstract

Interakce člověka s robotem a učení se z demonstrace vyžadují intuitivní a ergonomické komunikační prostředky. Vedení robota úkolem jednoduché interakce s jeho prostředím obvykle vyžaduje kromě odborníka na doménu také odborníka na robotiku. Gesta lidské ruky jsou cennou komunikační modalitou, protože (i) lidé jsou velmi zruční v jejich výrobě a (ii) relevantní geometrické veličiny lze snadno demonstrovat. V této práci rozvíjíme spojení mezi lidskou rukou a robotickým ramenem manipulátoru. Jsou zkoumány různé metody pro ovládání robotického manipulátoru na základě gest, včetně kartézské polohy, jako je živé mapování pomocí robotického manipulátoru a jeho ovládání založené na řízení. Definice a implementace několika metod k provádění různých případů použití robotické manipulace (např. Otevírání zásuvek skříňky, stisknutí tlačítka a manipulace s objekty). Přístup byl implementován pomocí výběru statických a dynamických gest a ověřen v izolovaných experimentech i v uživatelské studii se sedmi účastníky. Byly implementovány a porovnány dva mechanismy detekce gest: inženýrským přístupem založeným na vybraných funkcích a pravděpodobnostní metodou založenou na učení neuronové sítě. Myšlenkou celého systému je spojit dohromady různé části systému, kde jsou nezávisle používány hojně, avšak společně využívány nejsou. Práce vznikla za účelem implementace interakce člověk-robot do každodenního světa s možností usnadnit lidem život. Jelikož se jedná o obor, kde může být ovládání robotického manipulátoru rukou prospěšné.

Human-Robot-Interaction and Learning from Demonstration require intuitive and ergonomic means of communication. Guiding a robot through the task of simple interaction with its environment usually requires, additionally to a domain expert, also a robotics expert. Human hand gestures are a valuable communication modality, since (i) humans are very skilled in producing them, and (ii) relevant geometrical quantities can easily be demonstrated. In this thesis, we develop a connection between the human hand and a robot manipulator arm. Different methods for gesture-based robot control, including Cartesian position, are explored, such as live mapping with the manipulator and its action-based control. Definition and implementation of several methods to perform various robotic manipulation use-cases (e.g., opening cabinet drawers, pushing a button, and manipulating objects). The approach was implemented using a selection of static and dynamic gestures and verified in isolated experiments as well as in a user study with seven participants. Two gesture detection mechanisms were implemented and compared: an engineered approach based on selected features and a probabilistic learning-based method. The whole system idea is to forge together different parts of the system, where independently they are widely used, but together, they are unused. The thesis originated for a purpose of implementation Human-Robot-Interaction into the everyday world with a possibility to facilitate the people life. That is where controlling the robot manipulator with a hand can be beneficial.