Generování trénovacích dat pro 2D segmentaci

Jan Ferbr

Generating of the Training Data for 2D Segmentation

Type of document

bakalářská práce
bachelor thesis

Author

Jan Ferbr

Supervisor

Polic Michal

Opponent

Šára Radim

Study program

Kybernetika a robotika

Institutions assigning rank

katedra kybernetiky

Rights

A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html
Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html

Metadata

Show full item record

Abstract

V dnešní době je 2D segmentace aplikována v mnoha různých částech výzkumu.Tyto aplikace zahrnují například zobrazování medikálních obrazů či rozpoznávání objektů.2D segmentace ale vyžaduje desetitisíce anotovaných snímků. Tato práce se zaměřuje na popis procesu generování těchto trénovacích snímků z 3D modelu reálného prostředí. Masky instancí jsou vytvářeny za pomoci 3D modelu, který byl naskenován pomocí Hololens 2 a Azure Kinect. Řídká rekonstrukce byla vytvořena za pomoci softwaru COLLMAP a hustá rekonstrukce byla vytvořena za pomoci Azure Kinect SDK a softwaru od Hololens 2. Poté byl 3D model z husté rekonstrukce zdokonalen za pomoci SPSG, s cílem zaplnit díry a zvýšit celkovou kvalitu a přesnost modelu. Z tohoto modelu v podobě husté rekonstrukce byly poté vytvořeny masky, které následně byly použity v datasetu na učení za pomoci projektu YOLACT. Výsledky ukazují, že učení segmentace instancí za pomocí této pipeliny je možné, avšak hypotéza předpovídající zlepšení přesnosti při použití SPSG se nepotvrdila

2D segmentation is nowadays used for multiple applications, ranging from medical imaging to object recognition. 2D segmentation requires tens of thousands of annotated images. This paper aims to describe the process of creation of those training images from a 3D model or real environment. Instance masks are created from a 3D model that was scanned using Hololens 2 and Azure Kinect. The sparse reconstruction was obtained using COLMAP and the dense reconstruction using Azure Kinect SDK and Hololens 2. Afterward, the dense reconstruction was improved by SPSG algorithm to fill in the holes and improve the overall quality of the mesh. The masks were rendered from dense reconstruction by AI habitat. Using those masks, a dataset in COCO format was generated and employed for training using YOLACT. The results show that training instance segmentation using this pipeline is possible, however the hypothesis predicting that results will improve while using SPSG, did not prove to be right.