Učení bez učitele pro odhad pohybu v mračnu 3D bodů
Motion Feature Self-Supervised Learning in 3D Point Cloud Data
Typ dokumentu
diplomová prácemaster thesis
Autor
Šimon Pokorný
Vedoucí práce
Vacek Patrik
Oponent práce
Hurych David
Studijní program
Kybernetika a robotikaInstituce přidělující hodnost
katedra kybernetikyPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Provedli jsme průzkum v oblasti učení pohybů z 3D mračen bodů bez učitele. Během našeho průzkumu jsme zjistili, že žádný ze stávajících přístupů se nesnažil využít sekvenční povahy automobilových datasetů. S tímto zohledněním jsme představili dvě ztrátové funkce, které slouží k regularizaci učícího procesu modelu bez učitele. První ztrátová funkce nazvaná ztráta rychlosti se zaměřuje na vyhlazení derivace rychlosti bodů skrz určitý interval. Tato ztrátová funkce by měla zajistit plynulejší a tedy stabilnějsí predikci. Dále jsme navrhli dynamickou ztrátovou funkci, která se snaží oddělovat pohybové vzorce dynamických objektů od pohybu snímacího vozidla. Toto rozdělení se následně využívá ke generování pseudo-značek pro zlepšení segmentace pohybu. Dále jsme zjistili, že použitý model má problém s pohybovou segmentací. Pro vyřešení tohoto problému jsme vylepšili ztrátovou funkci, která se snaží učit segmentaci z modelem vytvořených pseudo-značek. Toto vytváření nyní zohledňuje kompaktnost objektů ve scéně. Nakonec jsme navrhli modul na podobném principu, který je specificky navržen pro účely evaluace bez nutnosti učení. Experimentální výsledky ukázaly významné zlepšení predikce modelu a to zmenšení chyby o téměr 3 cm na metrice $AEE_{50-50}$ při přidání Dynamické ztrátové funkce a modulu. Tento výsledek poukazuje na potenciální využití sekvenčních dat pro učení pohybů bez učitele. We conducted research in the field of self-supervised motion flow in 3D point clouds, an area established several years ago. Throughout our exploration, we observed that no existing models had attempted to leverage the sequential characteristics of automotive datasets. Taking this into account, we introduced two self-supervised losses to regularize the learning process of the model. The first loss, called Velocity loss, aims to smooth the derivative of the flow of points across multiple time frames. By doing so, we encourage a more smooth flow across multiple time frames. Additionally, we proposed the Dynamic loss, which separates the motion patterns of dynamic objects from the motion of the ego and utilizes this knowledge to generate pseudo labels for improving motion segmentation. Furthermore, we discovered that the model we were using faced challenges in segmentation. To address this issue, we upgraded the Artificial Label loss to incorporate object homogeneity, taking into account the rigid consistency of objects within the scene. Lastly, we proposed a similar refinement module, designed specifically for evaluation purposes. Experimental results demonstrated a significant improvement in the model's performance, with an enhancement of nearly 3 cm on the $AEE_{50-50}$ metric when the Dynamic Loss and Refiment Module was add. This outcome highlights the potential utilization of sequential data for self-supervised learning of motion flow.
Kolekce
- Diplomové práce - 13133 [474]