Generování trénovacích dat pro 2D segmentaci

Abstract

V dnešní době je 2D segmentace aplikována v mnoha různých částech výzkumu.Tyto aplikace zahrnují například zobrazování medikálních obrazů či rozpoznávání objektů.2D segmentace ale vyžaduje desetitisíce anotovaných snímků. Tato práce se zaměřuje na popis procesu generování těchto trénovacích snímků z 3D modelu reálného prostředí. Masky instancí jsou vytvářeny za pomoci 3D modelu, který byl naskenován pomocí Hololens 2 a Azure Kinect. Řídká rekonstrukce byla vytvořena za pomoci softwaru COLLMAP a hustá rekonstrukce byla vytvořena za pomoci Azure Kinect SDK a softwaru od Hololens 2. Poté byl 3D model z husté rekonstrukce zdokonalen za pomoci SPSG, s cílem zaplnit díry a zvýšit celkovou kvalitu a přesnost modelu. Z tohoto modelu v podobě husté rekonstrukce byly poté vytvořeny masky, které následně byly použity v datasetu na učení za pomoci projektu YOLACT. Výsledky ukazují, že učení segmentace instancí za pomocí této pipeliny je možné, avšak hypotéza předpovídající zlepšení přesnosti při použití SPSG se nepotvrdila2D segmentation is nowadays used for multiple applications, ranging from medical imaging to object recognition. 2D segmentation requires tens of thousands of annotated images. This paper aims to describe the process of creation of those training images from a 3D model or real environment. Instance masks are created from a 3D model that was scanned using Hololens 2 and Azure Kinect. The sparse reconstruction was obtained using COLMAP and the dense reconstruction using Azure Kinect SDK and Hololens 2. Afterward, the dense reconstruction was improved by SPSG algorithm to fill in the holes and improve the overall quality of the mesh. The masks were rendered from dense reconstruction by AI habitat. Using those masks, a dataset in COCO format was generated and employed for training using YOLACT. The results show that training instance segmentation using this pipeline is possible, however the hypothesis predicting that results will improve while using SPSG, did not prove to be right.