Robotická manipulace s objekty ve virtuálním a fyzickém prostředí
Robotic Object Manipulation in Virtual and Physical Environment
Type of document
diplomová prácemaster thesis
Author
Ondřej Švec
Supervisor
Jochman Tomáš
Opponent
Baumruk Martin
Study program
Kybernetika a robotikaInstitutions assigning rank
katedra kybernetikyRights
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Show full item recordAbstract
Robotická manipulace s využitím kamer představuje pokrok v automatizaci, který zvyšuje flexibilitu a efektivitu robotických pracovišť. Tato diplomová práce zkoumá integraci manipulace s objekty pomocí kamer ve virtuálním a fyzickém prostředí, přičemž se zaměřuje na schopnosti platformy NVIDIA Omniverse zlepšit přesnost simulací. Práce začíná rešerší a implementací algoritmu pro 6D odhad polohy pomocí statické RGB kamery. Robotická buňka je navržena a testována ve virtuálních i fyzických podmínkách, přičemž virtuální prostředí je vytvořeno pomocí nástrojů Process Simulate a KUKA.OfficeLite a následně rozšířené o simulaci v platformě NVIDIA Omniverse pro věrné a autentické vykreslování. Hlavní součástí práce je vývoj nástrojů využívajících platformy NVIDIA Omniverse: nástroje pro generování datasetů pro trénink modelů strojového učení a interaktivní aplikace sloužící jako digitální dvojče. Navrhovaná modulární architektura se skládá z nadřazeného kontroleru a unifikovaného rozhraní, což zajišťuje škálovatelnost. Experimentální výsledky ukazují, že synteticky tvořené datasety mohou být využity pro efektivní trénování modelů pro detekci objektů. Konzistentní výkon napříč virtuálními a fyzickými doménami potvrzuje věrnost digitálního modelu. Doporučení pro zlepšení výkonu zahrnují použití kamery s větším přiblížením, popřípadě přepracování buňky s kamerou namontovanou na rameni robota. Robotic manipulation using cameras is a critical advancement in the automation industry, enhancing the flexibility and efficiency of robotic systems. This thesis investigates the integration of camera-based robotic manipulation within virtual and physical environments, focusing on the capabilities of NVIDIA Omniverse to improve simulation accuracy. The study begins by choosing and implementing a 6D pose estimation algorithm using a static RGB camera. A robotic cell is designed and tested in both virtual and physical settings, with the virtual environment created using Process Simulate and KUKA.OfficeLite, and subsequently refined in NVIDIA Omniverse for high-fidelity rendering. A major component of the thesis involves developing tools within NVIDIA Omniverse: a dataset generation tool for machine learning model training, and an interactive application serving as a Digital Model. The proposed modular architecture includes a high-level controller and a unified interface, ensuring scalability. Experimental results demonstrate that synthetic datasets can be used to effectively train object detection models. The consistency of performance across virtual and physical domains validates the digital model's authenticity. Recommendations for enhancing setup performance include using a higher zoom camera lens or redesigning the cell with a robot-mounted camera.
Collections
- Diplomové práce - 13133 [495]