Výběr průzkumných akcí pro robotickou ruku za účelem zjištění vlastností předmětů

Abstract

Přestože dva objekty mohou na pohled vypadat stejně, mohou mít zcela odlišné vlastnosti a nezbývá, než je zjistit použitím hmatu. V této práci jsem se zaměřil na měkké materiály a objekty s různou mírou pružnosti/tuhosti a zkoumal, zda může tříprstá robotická ruka se zpětnou vazbou z taktilních senzorů a senzorů točivého momentu tyto objekty správně klasifikovat a zjistit jejich vlastnosti. Dále jsem se pokoušel zjistit, které konfiguraci prstů a rychlosti svírání jsou pro tyto úlohy nejvhodnější. Kromě tříprstého robotického chapadla Barrett Hand jsem měl k dispozici dvacet polyuretanových pěn a devět předmětů. Chapadlo bylo osazeno čtyřmi taktilními ploškami -- jedno na dlani a pak vždy na posledním článku prstu, a senzorem točivého momentu v posledním kloubu každého prstu. Akční primitivum jsem definoval jako uspořádanou dvojici číselného označení konfigurace prstů a kloubové rychlosti. Implementoval jsem balíček zjednodušující měření objektů do prostředí ROS. Celkem jsem provedl přes 1000 měření, která jsem následně vizualizoval. Vytvořil jsem způsob pro detekci aktivních taxelů. Pomocí LSTM neuronové sítě jsem klasifikoval předměty nebo zjišťoval konkrétní vlastnosti z měření rozdělených do datasetů. Vě většině případů dokázala neuronová síť správně klasifikovat jednotlivé předměty nebo je na základě jejich vlastností správně zařadit do intervalů hodnot těchto vlastností. Zkoumal jsem i případ, kdy byly při trénování zcela vynechány buď taktilní data nebo data ze senzorů točivého momentu a zjistil jsem, že taktilní data jsou pro správnou klasifikaci důležitější. Dalším zjištěním bylo, že neuronová síť, která byla učena na měřeních pořízených při nižší rychlosti, dosahovala podobných výsledků i pro měření pořízených při vyšších rychlostech. Pro některé úlohy jsem nalezl ideální akce, např. pro zjištění intervalu hustoty předmětu jsou lepší sdružené prsty, naopak k uchopení předmětů s délkou nejkratší hrany více než 70 mm je nutné použít protichůdné uspořádání prstů.

Although two objects can appear the same to the naked eye, they can have entirely different properties. One way to extract these properties is by using haptic exploration. In this work, I focused on soft materials and objects differing primarily in their elasticity/stiffness. I studied whether a multi-fingered hand with tactile and force feedback can correctly classify such objects and infer their elasticity/stiffness and density. I also investigated which finger configuration and speed of object squeezing is best suited for the task. The work setup consisted of a three-finger robotic gripper Barrett Hand, twenty polyurethane foams and nine objects. The gripper was equipped with tactile matrices --- both on the palm and each fingertip, and a joint torque sensor for each fingertip. An action primitive was defined as a tuple of finger configuration number and joint speed. A ROS package for the automation of the measuring process was implemented. Over 1000 measurements were collected, visualized and active taxel detection was employed. An LSTM neural network was created to classify the data and measurements were divided into datasets for the training of extracting specific object properties. In most cases, the network could correctly classify the specific objects or place a foam into the correct elasticity/stiffness/density interval based on its parameters. In an ablation study, when training on just the tactile or fingertip torque data, I show that tactile sensors are more important for correct classification. Furthermore, the LSTM network trained on measurements taken at lower speeds could generalize and be utilized with similar accuracy at higher speeds. In some cases, the preference of action for a specific purpose was established, such as lateral finger configuration for density interval classification or opposite finger configuration for any object with the smallest dimension larger than 70 mm.