Simulace hloubkových senzorů pro autonomní učení a testování

Abstract

Reálná LiDARová data využitelná pro strojové učení a verifikaci a validaci algoritmů jsou těžké získat, zejména v množství požadovaném aktuálními aplikacemi strojového učení. Nedávné studie ukazují, že je možné využít uměle vytvořené obrázky pro trénování systémů založených na strojovém učení. Uměle vygenerovaná obrazová data mají dlouhou historii zejména kvůli potřebám herního a filmového průmyslu, nicméně generování LiDARových dat je prozkoumáno mnohem méně. Uměle generovaná LiDARová data jsou také nerealisticky přesná a je třeba nejprve přidat realismus, aby bylo možné je využít pro systémy strojového učení. Cílem této práce je vytvořit funkční algoritmus, který je schopen generovat co nejrealističtější LiDARová data. Použili jsme hloubková a RGB data z počítačové hry GTA V, abychom vytvořili přesnou LiDARovou reprezentaci a využili jsme CycleGAN k tomu, abychom tuto reprezentaci co nejvíce přiblížili reálnému světu. CycleGAN byl natrénovaný s pomocí datasetu z reálných měření, který laskavě poskytla společnost Valeo.

Realistic LiDAR data that can be used for machine learning and algorithm validation and verification are hard to come by, especially in the quantities required by today's machine learning applications. Recent studies showed that it is feasible to use artificially generated images for the training of the machine learning systems focused on images. Rendering realistic RGB images has a long history driven by gaming and movie industry. Generating artificial LiDAR data are much less mature. The generated LiDAR data are often unrealistically precise and accurate. The goal of this thesis is to introduce a pipeline which can generate LiDAR data which look as realistically as possible. We use RGB and depth data from GTA V computer game to create initial precise LiDAR representation and employed CycleGANs to introduce realism. The CycleGAN is trained with the help of real-world dataset kindly provided by the Valeo company.