Vnímání a bezpečnost při interakci člověka s robotem v těsné blízkosti

Abstract

S rozšířením robotů mimo oplocené zóny do pracovních a obytných prostor sdílených s lidmi, stává se jejich schopnost fungovat v dynamickém a nepředvídatelném prostředí stále důležitější. Navzdory vysokým očekáváním jejich široké rozšíření brzdí problémy s výkonem, zejména pokud jde o bezpečnost. Tato disertační práce se těmto výzvám věnuje a zaměřuje se na zlepšení bezpečnosti a efektivity interakce člověka s robotem v těsné blízkosti.Usiluje o vylepšení vnímání okolí robotů pomocí různých senzorů a začlenění těchto senzorických dat do reaktivního řídicího systému pohybu.Tato práce prezentuje čtyři hlavní přínosy:1) Vyhodnocujeme výkonnost detektorů částí lidského těla při těsné interakci člověka s robotem. Za tímto účelem vytváříme specializovanou datovou sadu s anotacemi celého lidského těla pro situace blízké interakce. Na základě této datové sady jsou detektory kvantitativně i kvalitativně vyhodnoceny a poté testovány na robotovi vybaveném RGB-D kamerou. Nejrobustnější a nejpřesnější řešení je demonstrováno ve scénáři, kdy humanoidní robot využívá detekované 3D části lidského těla k provádění úhybných manévrů během interakce.2) Zavádíme koncept perirobotického prostoru modelu okolí robota, který reprezentuje veškerá senzorická data z hlediska obsazenosti prostoru. Tento přístup umožňuje vypočítat efektivitu pokrytí pracovního prostoru daným senzorem na základě metrik založených na obsazenosti. Perirobotický prostor může sloužit jako prototypovací nástroj pro optimalizaci rozmístění senzorů s cílem dosáhnout maximálního pokrytí na základě specifických metrik a senzorů.3) Ukazujeme, že vybavení kolaborativních robotů měkkými elektronickými ochrannými kůžemi může snížit síly nárazu, což umožňuje rychlejší pohyby robotů a tím i zvýšení produktivity. Pro zlepšení předpovědi kolizní síly navrhujeme rozšíření vzorců ISO/TS 15066, zohledněním tuhosti a stlačitelné tloušťky ochranných krytů.4) Představujeme HARMONIOUS člověku podobný reaktivní řídící systém pohybu s multimodálním vnímáním. Inspirován biologickými principy poskytuje robotovi vizuálně-taktilní povědomí o celém těle, modelované podle lidského Peripersonálního prostoru, a generuje plynulé, lidsky přirozené pohyby s minimálním ryvem. HARMONIOUS je implementován na humanoidním robotu iCub, kde ovládá jeho dvě paže a trup s celkem 17 stupni volnosti. Výkonnost našeho řešení HARMONIOUS je demonstrována v nestrukturovaném scénáři fyzické interakce člověka s robotem při hraní hry.

As robots transition from operating within safety fences to sharing workspaces and living spaces with humans, their ability to operate in dynamic and unpredictable environments becomes increasingly important. Despite high expectations, their widespread adoption has been limited by performance challenges, particularly in terms of safety. This dissertation tackles these challenges by focusing on improving the safety and efficiency of human-robot interactions in close proximity. It seeks to enhance robots' perception of their surroundings through various sensors and incorporate these sensory data into a reactive motion controller.This thesis presents four main contributions:1) We evaluate the performance of state-of-the-art human keypoint detectors in close-proximity human-robot interaction. For that purpose, we create a dedicated close-proximity dataset with whole-body keypoint annotations. The detectors are evaluated both quantitatively and qualitatively using this dataset and tested on a robot equipped with an RGB-D camera. The most robust and accurate solution is demonstrated in a scenario in which a humanoid robot uses detected 3D keypoints to perform avoidance maneuvers during interactions.2) We introduce the concept of the perirobot space, a model of the space around the robot that represents all sensor data in terms of space occupancy. This approach enables the calculation of how effectively a sensor covers the workspace using occupancy-based metrics. This perirobot space can serve as a prototyping tool to optimize the sensor setup for maximum coverage based on specific metrics and sensors.3) We demonstrate that equipping collaborative robots with soft electronic protective skins can reduce impact forces and hence allow faster robot movements, thus increasing productivity. To improve collision force predictions, we propose an extension to the ISO/TS 15066 formulas that incorporates the stiffness and compressible thickness of protective covers.4) We present HARMONIOUS, a human-like reactive motion controller with multimodal perception. Inspired by biological principles, it provides the robot with whole-body visuo-tactile awareness, modeled after human Peripersonal space, and generates smooth, human-like movements based on minimum-jerk motion profiles. HARMONIOUS is implemented on the iCub humanoid robot, controlling its two arms and torso, with a total of 17 degrees of freedom. The performance of HARMONIOUS is demonstrated in an unstructured physical human-robot interaction scenario while playing a game.