Robustní rekonstrukce poloh kamer ze snímků osobního automobilu

Abstract

Předmětem diplomové práce je zlepšení odhadu kamerových pozic z obrázků osobních automobilů pro následnou syntézu nových pohledů, s cílem eliminovat případy selhání, které se vyskytly v předchozích pracích. Je navržena metodologie tvorby datasetů a je vytvořen addon pro nástroj Blender umožňující tvorbu referenčních dat pro syntetické datasety. Dále jsou poskytnuty tři nové reálné datasety řídící se navrženou metodologií, obsahující přesná GNSS data, která umožňují vytvářet vzorkované datasety s pseudo-referenčními kamerovými pozicemi. Jsou navržena tři různá řešení vycházející z paradigmat Structure from Motion, konkrétně inkrementálního, globálního a založeného na strojovém učení. Pro zvýšení robustnosti byla vytvořena strategie párování obrázků s maskováním dynamických částí scény. Přidaná robustnost je demonstrována na již existujících datasetech i na nově navržených datasetech. Řešení založené na strojovém učení vykazuje nejvýraznější zlepšení.

The thesis focuses on improving camera pose estimation from images of passenger cars for downstream novel view synthesis with the goal of avoiding reconstruction failure cases that appeared in previous works. Dataset creation methodology is proposed and Blender addon is implemented that facilitates the creation of ground truth data for synthetic datasets. Additionally, three new real datasets are provided that follow the same methodology, incorporating precise GNSS data allowing a creation of sampled datasets with pseudo ground truth camera poses. Three distinct solutions are proposed following incremental, global, and learning-based Structure-from-Motion paradigm. A custom matching strategy is utilized with masking of the dynamic parts of the scene to aid robustness. The added robustness is showcased on previously existing datasets and the newly proposed datasets. The learning based solution showing the most significant improvement.