Vylepšení Techniky 3D Gaussian Splatting Pomocí Apriorních Geometrických Informací
Improving 3D Gaussian Splatting via Geometric Priors
Typ dokumentu
diplomová prácemaster thesis
Autor
Karel Poncar
Vedoucí práce
Sattler Torsten
Oponent práce
Čech Jan
Studijní obor
Umělá inteligenceStudijní program
Otevřená informatikaInstituce přidělující hodnost
katedra počítačůPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Tato práce se zaměřuje na integraci mračen bodů do optimalizační části metody 3D Gaussian Splatting. Cílem je využít dodatečnou informaci z mračna bodů pro zlepšení rekonstrukce scény jak vizuálně, tak kvantitativně (měřeno pomocí metrik SSIM a PSNR). Tato práce navrhuje a porovnává několik přístupů, zejména řízenou densifikaci splatů, ostraňování nevhodných splatů a úpravu geometrických vlastností splatů prostřednictvím přidání regularizačních členů do ztrátové funkce -- penalizace polohy a jeho modifikace, penalizace orientace Gaussianu a člen založený na principu maximální věrohodnosti. Navržené varianty experimentálně porovnáváme mezi sebou a s referenční rekonstrukcí 3D Gaussian Splatting, která nevyužívá dodatečná geometrická omezení. Naše výsledky ukazují, že navržené metody, zejména penalizace polohy a rotace, mají značný potenciál pro odstranění šumu v oblastech s nízkou informací z obrázků a zároveň slouží k lepšímu zarovnání s lokální geometrií mračna bodů. Součástí práce je také optimalizace trénovací doby, díky které je výpočetní režie většiny navrhovaných metod snížena z několika hodin na méně než hodinu. Celkově tato práce přispívá k vývoji metody Gaussian Splatting zkoumáním možností efektivní integrace mračna bodů do jejího optimalizačního procesu. This thesis focuses on the integration of geometric priors, namely point clouds, into the optimization process of 3D Gaussian Splatting. The objective is to enhance the scene reconstruction both visually and quantitatively (measured by SSIM and PSNR) by leveraging the additional information from the point cloud. We propose and evaluate several approaches, including guided densification and pruning of splats, and the geometric regularization terms added to the loss function: position loss, its modifications, normal alignment loss, and a negative log-likelihood loss. We experimentally evaluate the proposed variants against each other and against the referential Gaussian splatting reconstruction, which does not use the additional constraints to guide the reconstruction process. Our results show that the proposed approaches, in particular the combined position and normal loss, have great potential to remove noise from places with limited visual information as well as align with local geometry. We also introduce training time optimizations, which reduce the computational overhead of the proposed methods from several hours to under an hour in most cases, with the exception of the negative log-likelihood approach. Overall, this thesis contributes to the field of 3D Gaussian splatting by exploring how point clouds can be effectively integrated into 3D Gaussian Splatting optimization.
Kolekce
- Diplomové práce - 13136 [966]