Automatizace prostorové kalibrace umělé kůže na robotovi pomocí 3D rekonstrukce

Abstract

Tato práce přichází s metodou kalibrace umělé kůže robota pomocí 3D rekonstrukce ze snímků z RGB-D kamery. Kalibrace se provádí na robotovi iCub, který je vybaven kůží z kapacitních dotekových senzorů (celkem přibližně 4000). Cílem práce je zautomatizovat lokalizaci dotekových senzorů ve 3D prostoru a jejich vztažení ke kinematickému modelu robota, které se dříve prováděly ručně. Dotekové senzory jsou ve snímku detekovány na míru vytvořeným modelem neuronové sítě. Byl vyvinut program, který udělá snímek RGB-D kamerou, vyhledá v něm dotekové senzory, získá jejich souřadnice ve 3D a vrací je jako pole. Tento proces trvá jen několik minut a vyžaduje od uživatele pouze jeden vstup: výběr počátku souřadného systému. Dalším přínosem této práce je získání modelů kůže z konfiguračních souborů a jejich vizualizace. V referenčních souborech bylo nalezeno několik chyb, jež byly nahlášeny k opravení. Dále byla získána prostorová kalibrace některých částí kůže na nohou iCuba, pro které dosud žádná neexistovala. Kvůli chybám v referenčních souborech a zkreslení 3D modelu získaného rekonstrukcí (pravděpodobně způsobeného odrazy světla použitého k osvětlení) identifikace dotekových senzorů a napojení na kinematický model robota nebyly zatím provedeny. Tento proces bude realizován později s lepším osvětlením, až budou referenční modely opraveny.

This work proposes a method of calibrating artificial robot skin by 3D reconstruction from an RGB-D camera image. The calibration is performed on the iCub robot platform, equipped with a set of capacitive tactile sensors (around 4000 on the complete body surface). The goal is to automate the process of localizing the tactile sensors in the 3D scene and aligning them with the robot’s kinematic structure, which was previously done manually. The tactile sensors are detected by a custom-made neural network model. We have developed a script, which takes a picture with an RGB-D camera, searches for tactile sensors in the RGB image, retrieves their coordinates in the 3D point cloud and returns them as an array. This process takes just a few minutes and requires only one input from the user: selection of the coordinate system origin. Another valuable contribution of this work is retrieving labeled skin models from configuration files and their visualization. Some errors were found in the reference files, they have been reported to be resolved. Furthermore we provided spatial calibration for some skin parts of the iCub's legs, where none was available yet. Due to the errors in the reference files and distortions in the reconstructed point cloud (possibly caused by reflections of the headlight used for lighting up the scene) taxel identification and alignment with the kinematic model is left unresolved, to be tried later with corrected reference and better light.