Visuo-haptické modelování tvaru objektu řízené nejistotou

Abstract

Modelováni tvaru objektu je úloha zabývající se rekonstrukcí objektu z neúplné informace. V nedávné době pokročila rekonstrukce z neúplné, pouze vizuální informace. Nicméně předměty se můžou překrývat nebo být “nepřátelské” pro kameru. Jako řešení navrhujeme naši metodu nazvanou aktivní visuo-haptické modelování tvaru (Act-VH). Tato metoda kombinuje mrak bodů ze stacionární kamery a data z haptické explorace pomocí robotického manipulátoru. Moderní neuronová sít na principu implicitních povrchů je použita pro doplňování tvarů. Místo pro exploraci je aktivně počítáno z nejistoty rekonstrukce. Metoda je posouzena v simulaci, pro kterou představujeme unikátní simulační prostředí, a v reálném světě. V obou světech jsou dostupné vizualizace aktuálního pokroku v reálném čase. Přesnost rekonstrukce a efektivita explorace je poronána s existujícími metodami. Výsledky ukazují, že Act-VH ostatní metody překonává. Kromě toho provádíme sérii uchopovacích experimentů, ve kterých jsme dosáhli vyšší úspěšnosti než existující metody. Nakonec je naše metoda porovnána s aktivní, pouze vizuální metodou, která je schopná získat informaci i ze zakrytých části. Celkově je tato práce vstupním bodem pro použití visuo-haptického doplňování tvarů v robotických úlohách v reálném světě.Shape completion is the task of reconstruction of an object using incomplete information. Recently, advancements in single-view visual-only shape completion have been made. However, the objects can self-occlude or be adversarial for cameras. In this work, we propose a novel active visuo-haptic shape completion method (Act-VH). The method combines a point cloud from a stationary camera and data from haptic exploration with a robotic manipulator. A state-of-the-art implicit surface neural network is used to complete the shapes. The location to explore is actively computed from the reconstruction uncertainty. We evaluate the method both in simulation, for which we present a unique environment, and in the real world. In both worlds, real-time visualizations of current progress are provided. The performance is compared to baseline methods in terms of reconstruction accuracy and exploration efficiency. The results show that Act-VH outperforms all baselines in both criteria. In addition, we perform grasp experiments on real-world objects, reaching a significantly higher grasp success rate than the baseline. Finally, Act-VH is compared to an active visual-only method that can obtain information from occluded parts. Together, this work opens up the door for using active visuo-haptic shape completion in real-world robotic tasks.