Klasifikace měkkých předmětů skrze mačkání robotickými uchopovači

Abstract

Poznávání objektů prostřednictvím manipulace významně doplňuje vizuální vnímání a to především při určování fyzikálních vlastností objektů jako je tuhost, hmotnost nebo drsnost povrchu. Toto platí jak pro lidské, tak pro robotické vnímání. V této práci studuji klasifikaci deformovatelných objektů pomocí jejich mačkání čtyřmi různými robotickými rukama/uchopovači: Barrett Hand (3 prsty s nastavitelnou konfigurací), qb SoftHand (5 prstů, 1 motor) a dva průmyslové grippery (Robotiq 2F-85 a OnRobot RG6). Časové řady shromážděné během stlačování (a někdy i dekomprese) objektů jsou přiváděny do čtyř různých klasifikátorů: k Nearest Neighbors (kNN) a LSTM jsou aplikované na surová data a kNN a SVM na extrahované features. Systematicky porovnávám výkonnost gripperů spolu s vlivem: (i) akčních parametrů (konfigurace uchopení a rychlost stisku), (ii) schopnost přenášet znalosti a (iii) modality jednotlivých senzorů. Nejlépe si vedou grippery Robotiq 2F-85 a Barrett Hand. V těsném závěsu za nimi je OnRobot RG6 a qb SoftHand si vede výrazně hůře. Dvouprsté grippery tak poskytují úspornější řešení klasifikace deformovatelných objektů, které se spoléhá pouze na charakteristiky napětí/deformace pouhých 2 senzorický kanálů (poloha a síla). Ve srovnání s Barrett Hand s 96 hmatovými senzory, 3 senzory točivého momentu na špičkách prstů a 8 senzory úhlu prstů. Problém učení s učitelem je doplněn analýzou hlavních komponent, která odhaluje zdroje variability v datech. Tato práce představuje jedinečný přínos v tom, že na stejných souborech dat nasazuje čtyři různé robotické ruce/chapadla a systematicky studuje jejich výkonnost. Přenos učení mezi různými robotickými rukama zůstává výzvou do budoucna.

Learning about objects through manipulation importantly complements visual perception mainly to identify physical properties of objects such as stiffness, mass, or surface roughness. This holds both for human and robot perception. In this work, I study the classification of deformable objects by grasping them using four different robotic hands / grippers: Barrett Hand (3 fingers with adjustable configuration), qb SoftHand (5 fingers, 1 motor), and two industrial parallel jaw grippers (Robotiq 2F-85 and OnRobot RG6). The time series collected during object compression (and sometimes decompression) are fed into four different classifiers: k Nearest Neighbors (kNN) and LSTM applied on raw data, and kNN and SVM on features. I systematically compare the grippers' performance, together with the effects of: (i) action parameters (grasping configuration and speed of squeezing), (ii) knowledge transfer ability, and (iii) individual sensory modalities. The Robotiq 2F-85 and the Barrett Hand perform best. The OnRobot RG6 is closely in line, and qb SoftHand performs significantly worse. The 2-finger grippers thus provide a more parsimonious solution to deformable object classification relying only on the stress/strain characteristics in only 2 sensory channels (position and effort), compared to the Barrett hand with 96 tactile sensors, 3 fingertip torque sensors, and 8 joint encoders. The supervised learning problem is complemented by principal component analysis to uncover the sources of variability in the data. This work provides a unique contribution in that it deploys four different robot hands/grippers on the same datasets and systematically studies their performance. Transfer learning between different robot hands remains a future challenge.