Interaktivní robotické vnímání deformovatelných objektů podobných kabelům

Abstract

Manipulace s nepřehlednými kabely, hadicemi nebo lany je náročná pro roboty i pro člověka. Člověk často zjednodušuje tyto na vnímání náročné úkoly taháním za zamotané kabely a pozorováním výsledných pohybů. Navrhujeme použít podobný princip interaktivního vnímání pro usnadnění robotické manipulace s kabely. Základním stavebním kamenem takového snažení je metoda pohybové segmentace kabelu, která umí v obrazu označit pixely pohybujícího se kabelu. Tato práce představuje MovingCables, dataset pohybujících se kabelů, který, jak doufáme, bude motivovat vývoj a testování algoritmů pro pohybovou segmentaci kabelů. Dataset se skládá z obrazových sekvencí nasmínaných v reálném světě, které jsou automaticky anotované segmentačními maskami a optickým tokem. Navrhli jsme metodu pohybové segmentace (motion segmentation) kabelu a vyhodnotili její přesnost na novém datasetu. Metoda pohybové segmentace funguje na základě prahování velikosti optického toku odhadovaného hlubokou neuronovou sítí. Předpokládá, že se ve scéně pohybuje pouze jeden kabel. Abychom toto omezení odstranili, navrhli jsme novou metodu pohybové korelace (motion correlation), která integruje vizuální a proprioceptivní vnímání. Problém interaktivní segmentace kabelu jsme formulovali tak, aby se metoda pohybové korelace obešla bez segmentačních masek ramene robota. Nově navržená metoda pro výběr úchopů (grasp sampling) navíc umí na základě částečné segmentace kabelu navrhnout nové body pro uchopení kabelu tak, aby se segmentace kabelu mohla zlepšit pomocí dodatečné interakce mezi robotem a kabelem. Navrhovanou metodu pohybové korelace jsme vyhodnotili na datových sekvencích zaznamenaných naším fyzickým robotickým pracovištěm. Metoda pohybové korelace na těchto sekvencích dosahuje vyšší přesnosti než původní metoda pohybové segmentace. Všechny námi navržené metody pohybové segmentace kabelu využívají tradiční kamery. Biologicky inspirované událostní kamery jsou energeticky a datově efektivnější než tradiční kamery při sledování řídce se měnících scén, jako jsou například scény s pohybujícími se kabely. Proto jsme ještě vyzkoušeli pohybovou segmentaci kabelů s událostními kamerami. V roce 2024 však nebyla žádná z námi testovaných metod pro odhad optického toku z událostních kamer vhodná pro odhad pohybu kabelů. Experimentálně jsme také porovnali událostní kamery s tradičními kamerami na úlohách snímání velmi rychlých pohybů, jako je pozorování letících balistických projektilů nebo sledování kontrastních značek otáčejících se na rotujícím disku. Experimentální výsledky obsahují vzorkovací/detekční rychlosti a chyby odhadu polohy jako funkce osvětlení a rychlosti pohybu; a také minimální časy odezev pixelů dvou komerčních událostních kamer (ATIS, DVS240). Událostní kamery reagovaly pomaleji na pozitivní než na negativní velké a náhlé změny kontrastu. Událostní kamery, které jsme testovali, byly omezeny odezvou pixelů při sledování malých objektů při velmi vysokých rychlostech, což způsobovalo efekt pohybového rozmazání. Datová propustnost senzorů omezovala událostní kamery při rozpoznávání větších objektů. Také jsme zjistili, že prostorová vzorkovací hustota událostní kamery monotónně klesá s rostoucí rychlostí pohybu. To může omezovat použitelnost některých stávajících algoritmů s dávkovým zpracováním událostí, které pracují s konstantním počtem událostí v každé dávce. Oba typy kamer, tradiční i událostní, poskytovaly srovnatelnou přesnost odhadu polohy objektů, ale událostní kamery v našich experimentech při stejných scénách přenášely menší objemy dat za jednotku času.

Manipulating cluttered cables, hoses or ropes is challenging for both robots and humans. Humans often simplify these perceptually challenging tasks by pulling or pushing tangled cables and observing the resulting motions. We propose to use a similar interactive perception principle to aid robotic cable manipulation. A fundamental building block of such an endeavor is a cable motion segmentation method that densely labels moving cable image pixels. This thesis presents MovingCables, a moving cable dataset, which we hope will motivate the development and evaluation of cable motion segmentation algorithms. The dataset consists of real-world image sequences automatically annotated with ground truth segmentation masks and optical flow. We designed a cable motion segmentation method and evaluated its performance on the new dataset. The motion segmentation method operates by thresholding optical flow magnitude estimated by a deep neural network. It assumes that there is only one cable moving in the scene. In order to address this shortcoming, we proposed a novel motion correlation method which integrates visual and proprioceptive perception. We formulated the cable interactive segmentation problem in such a way that the motion correlation method does not require robot arm segmentation masks. Furthermore, a novel grasp sampling method can propose new cable grasp points given a partial cable segmentation to improve the segmentation via additional cable-robot interaction. We evaluated the proposed motion correlation method on data sequences recorded by our physical robotic setup and showed that the method outperforms the motion segmentation baseline. All the proposed cable motion segmentation methods rely on traditional frame cameras. Being motivated by the fact that neuromorphic event cameras are more energy and data efficient than frame cameras when capturing sparsely changing scenes such as those with moving cables, we tried segmenting moving cables with event cameras. As of 2024, however, none of the state-of-the-art optical flow estimators for event cameras we tested was suitable for cable motion estimation. We also experimentally compared event cameras with frame cameras on high speed motion sensing tasks, such as observing flying bullets or markers rotating on a disk. The experimental results include sampling/detection rates and position estimation errors as functions of illuminance and motion speed; and the minimum pixel latency of two commercial event cameras (ATIS, DVS240). The event cameras responded more slowly to positive than to negative large and sudden contrast changes. The event cameras we tested were limited by pixel latency when tracking small objects at very high speeds, resulting in motion blur effects. Sensor bandwidth limited them when recognizing larger objects. The event camera spatial sampling density monotonically decreases with growing motion speed, which may limit the applicability of existing event-based algorithms relying on fixed-sized event batches. Both camera types provided comparable position estimation accuracy but event cameras were more bandwidth-efficient in our experiments.