Vylepšení Techniky 3D Gaussian Splatting Pomocí Apriorních Geometrických Informací

Abstract

Tato práce se zaměřuje na integraci mračen bodů do optimalizační části metody 3D Gaussian Splatting. Cílem je využít dodatečnou informaci z mračna bodů pro zlepšení rekonstrukce scény jak vizuálně, tak kvantitativně (měřeno pomocí metrik SSIM a PSNR). Tato práce navrhuje a porovnává několik přístupů, zejména řízenou densifikaci splatů, ostraňování nevhodných splatů a úpravu geometrických vlastností splatů prostřednictvím přidání regularizačních členů do ztrátové funkce -- penalizace polohy a jeho modifikace, penalizace orientace Gaussianu a člen založený na principu maximální věrohodnosti. Navržené varianty experimentálně porovnáváme mezi sebou a s referenční rekonstrukcí 3D Gaussian Splatting, která nevyužívá dodatečná geometrická omezení. Naše výsledky ukazují, že navržené metody, zejména penalizace polohy a rotace, mají značný potenciál pro odstranění šumu v oblastech s nízkou informací z obrázků a zároveň slouží k lepšímu zarovnání s lokální geometrií mračna bodů. Součástí práce je také optimalizace trénovací doby, díky které je výpočetní režie většiny navrhovaných metod snížena z několika hodin na méně než hodinu. Celkově tato práce přispívá k vývoji metody Gaussian Splatting zkoumáním možností efektivní integrace mračna bodů do jejího optimalizačního procesu.

This thesis focuses on the integration of geometric priors, namely point clouds, into the optimization process of 3D Gaussian Splatting. The objective is to enhance the scene reconstruction both visually and quantitatively (measured by SSIM and PSNR) by leveraging the additional information from the point cloud. We propose and evaluate several approaches, including guided densification and pruning of splats, and the geometric regularization terms added to the loss function: position loss, its modifications, normal alignment loss, and a negative log-likelihood loss. We experimentally evaluate the proposed variants against each other and against the referential Gaussian splatting reconstruction, which does not use the additional constraints to guide the reconstruction process. Our results show that the proposed approaches, in particular the combined position and normal loss, have great potential to remove noise from places with limited visual information as well as align with local geometry. We also introduce training time optimizations, which reduce the computational overhead of the proposed methods from several hours to under an hour in most cases, with the exception of the negative log-likelihood approach. Overall, this thesis contributes to the field of 3D Gaussian splatting by exploring how point clouds can be effectively integrated into 3D Gaussian Splatting optimization.