Odhadování polohy palety s cihlami ze senzorů paletového vozíku

Abstract

Tato práce zkoumá návrh vizuálního systému pro vizuální servořízení, který se používá k nakládání palet cihel s paletovým vozíkem v podmínkách venkovního stavebního prostředí. K získávání měřicích dat jsme použili stereo kameru Luxonis OAK-D Pro. Přizpůsobili jsme neuronovou síť YOLOv5 pro detekci palet cihel v barevných obrazech. Pomocí těchto detekcí spolu s hloubkovými daty jsme odhadli polohy palet. Na generovaný mrak bodů jsme použili algoritmus RANSAC spolu s dalšími metodami pro zlepšení přesnosti odhadu. Systém byl vyvinut s využitím ROS pro zjednodušení integrace s dalšími komponenty většího projektu. Krom toho jsme v rámci tohoto výzkumu zkoumali chování stereo kamery Luxonis OAK-D Pro.

This thesis explores the design of the vision system for a visual servoing setup used to load pallets of bricks with a pallet truck in outdoor construction site conditions. We employed the Luxonis OAK-D Pro stereo camera to gather measurement data. A customised YOLOv5 neural network was trained to detect pallets of bricks in colour images. Using these detections along with depth data, we estimated the poses of the pallets. We've utilised RANSAC algorithm to process the generated point cloud, together with other techniques to improve the estimation accuracy. The system was developed using ROS to simplify the integration with other components of the larger project. Additionally, we examined the behaviour of the Luxonis OAK-D Pro stereo camera as part of this research.