Geometrická konzistence při odhadu polohy a orientace objektu z obrázků

Abstract

Odhad polohy a orientace objektu z obrázku je důležitou úlohou v robotice, která je nutná pro automatizovanou interakci s prostředím. Stávající metody odhadu polohy a orientace však nezohledňují fyzikální omezení reálného světa, což vede k fyzikálně nerealistickým odhadům. Cílem této práce je zlepšit odhad polohy a orientace objektu ze snímků zavedením fyzikálních konzistencí do scény. Požadované konzistence zahrnují uplatnění gravitace a odstranění kolizí mezi objekty ve scéně. Polohy a orientace objektů jsou buď odhadovány pomocí pose estimatoru, nebo jsou a priori známy z modelu robota a prostředí, např. stůl na kterém jsou objekty umístěné. Fyzikální konzistenci formulujeme jako optimalizační problém, pro který odvodíme analytické gradienty. K analýze vlivu fyzikální konzistence byly použity dva syntetické datasety a tři reálné datasety z BOP Challenge. Naše metoda zlepšuje BOP metriky v průměru o 27% na našich syntetických datasetech a o 13% na třech použitých BOP datasetech. To ukazuje, že fyzikální konzistence má významný vliv na BOP metriky pro odhad polohy a orientace objektu. Abychom demonstrovali vliv fyzikální konzistence v robotických aplikacích, provedli jsme úlohu uchop a polož s robotem Panda. Náš přístup vede ke stabilnějšímu fungování a zvyšuje úspěšnost náročných úchopů z 20% na 80%.Object pose estimation from an image is an important task in robotics required for automatic interaction with an environment. However, current methods for pose estimation do not account for the physical constraints of the real world, resulting in physically infeasible estimates. This work aims to improve the object pose estimation from images by introducing physical consistencies into the scene. The desired consistencies include the application of gravity and resolution of collisions between objects in the scene. The poses of the objects are either estimated by pose estimators or are known a priori from the model of the environment, e.g., the table on which the objects are placed. We formulate the physical consistency as an optimization problem for which we derive analytical gradients. Two synthetic rendered datasets and three real-world datasets from the BOP challenge were used to analyze the effect of enforcing physical consistency. Our approach improves the BOP metrics on average by 27% on our synthetic datasets and by 13% on the three BOP datasets. This shows that physical consistency has a significant effect on the BOP metrics for the object pose estimation. To demonstrate the effect of physical consistency in robotic applications, we perform a pick-and-place task on a Panda robot. Our approach results in a more stable operation, increasing the grasping success rate from 20% to 80% on challenging grasps.