Ovládání humanoidního robota Tiago pomocí gest

Abstract

Tato práce se zabývá robotem TIAGo++, který je schopný svou kamerou sledovat člověka a na jeho příkaz dojet do místa na podlaze, do kterého člověk ukázal. Robot a jeho části důležité pro tuto práci jsou nejprve popsány, následuje návrh teoretického řešení jednotlivých podúkolů, jako jsou ovládání hlavy robota, rozpoznání člověka na obrazu z kamery, jeho zaměření do středu zorného pole robota, zpracování obrazu z kamery, způsob výpočtu směru ukazování ruky i finálního bodu a nakonec způsob pohybu robota po pracovní ploše. Poté je popsána implementace teoretického řešení, způsoby komunikace s robotem, použité neuronové sítě pro zpracovávání obrazu a komunikace mezi nimi, vytvořené demo programy ověřující správnou funkci dílčích částí řešení a následně i hlavní pracovní smyčka, která se sestává z nalezení člověka, rozpoznání jeho gesta a přesunu do požadovaného místa. Na závěr je zhodnocena spolehlivost nalezení člověka robotem a také přesnost a opakovatelnost určení polohy dojezdu robota.

This thesis describes a TIAGo++ robot capable of watching humans with its camera and moving to a place on the ground specified by a human when it is prompted to. At first, the robot and its parts important for this thesis are described, then follows the suggested theoretical solution of individual subtasks like controlling the movement of the head, recognizing the human in the image from the robot's camera, centering on the person in the image, processing of the image, means of computing the direction in which the human points and the location of a final point for the robot to move to and the way the robot moves around the workspace. Then the implementation of the theoretical solution is described and is followed by means of communication with the robot, a description of neural networks used to process the images taken, and the communication between them. Demo programs created to verify the correct behavior of the program are mentioned and finally, the main loop of finding a human, keeping him in the robot's field of view, recognizing the gesture the person does, and moving to a place that was pointed to is examined. In the end, the reliability of detecting a person in the image and the accuracy and repeatability of the robot moving to a specified point are verified and discussed.