Ovládání humanoidního robota TIago pomocí kombinace jazyka a gest

Abstract

Tato práce adaptuje moduly zpracování vstupů z kamery a mikrofonu humanoidního robota TIAGo++ ze zastřešujícího projektu iChores a rozšiřuje výběr cílového předmětu akce Zvedni o prostorové relace nalevo od, napravo od, relaci stejného tvary a relaci stejné barvy. V práci je nejdříve popsán robot a jeho pro práci důležité části, následuje popis problému práce a popis teoretického řešení jednotlivých pod-úloh. Tím chápeme čtení vstupů ze senzorů, zpracování těchto vstupů, určení režimu akce Zvedni podle vstupů, výpočet pravděpodobnosti výběru cílového předmětu a provedení akce s vybranými možnostmi robotem. Dále jsou popsány použité moduly pro zpracování senzorů, následovaný popisem komunikace s robotem a implementace rozšiřujícího modulu nazvaného Reasoner. Na závěr jsou prezentovány výsledky, zhodnocena jejich přesnost a diskutována možná budoucí vylepšení modulu.This work adapts the camera and microphone input processing modules of the TIAGo++ humanoid robot from the iChores \cite{ichores} project under which the work is done and extends the selection of the target object of the "Lift" action to include the spatial relations "to the left of", "to the right of", the relation of the same shape and the relation of the same color. The thesis first describes the robot and its important parts for the thesis, followed by a description of the problem of the thesis and a description of the theoretical solution of each sub-problem. By this we mean reading inputs from sensors, processing these inputs, determining the action mode "Lift" according to the inputs, calculating the probability of selecting the target object, and executing the action with the selected options by the robot. Next, the modules used to process the sensors are described, followed by a description of the communication with the robot and the implementation of an extension module called Reasoner. Finally, the results are presented, their accuracy is evaluated, and possible future improvements to the module are discussed.