Neurčitost ve Structure from Motion algoritmech

Abstract

Algoritmy počítačového vidění, jako jsou Structure from Motion, Simultaneous Localization and Mapping a Multi-View Stereo, se používají k vytváření trojrozměrných scén pro širokou škálu aplikací v průmyslu a zábavě (např. navigaci robotů, autonomní vozidla a virtuální realitu). V minulosti bylo věnováno odhadům parametrů 3D rekonstrukce významné úsilí, nicméně zahrnutí pokročilej\-ších statistických dat je využito zřídka i přes potenciál zlepšit kvalitu 3D rekonstrukce. Tato disertační práce si klade za cíl vytvořit komplexního průvodce modelováním a využití neurčitostí v rámci Structure from Motion algoritmů. Konkrétně se práce zaměřuje na popis neurčitostí obrazových bodů a afinních oblastí, tj. odhad nejistoty detektorů. Práce představuje nový přístup pro lepší modelování kovariančních matic detekovaných bodů a přesnější odhad neurčitosti pozice afinních oblastí. Dále jsou neurčitosti transformací mezi detekovanými body odhadnuty pomocí vytvořeného datasetu homografií, což umožnilo odvodit první odhad neurčitosti orientace a měřítka regionů detekovaných SIFT detektorem. Práce navíc prezentuje nový obecný postup pro propagaci neurčitostí v minimálních problémech a knihovnu funkcí, které tuto neurčitost propagují. Propagace neurčito\-sti prostřednictvím projekční funkce je navržena pomocí dvou nových metod. Na závěr prezentuje disertační práce příklad využití neurčitostí při řešení minimálních problémů, tj.\ demonstruje zrychlení algortimu, který počítá robustní odhad řešení. Dále je představeno a testováno nové statistické kritérium pro výběr modelu kamer na základě jejich neurčitostí. Výběr vhodného modelu kamery vede k přesnější a rychlejší rekonstrukci. Disertační práce poskytuje návod, jak modelovat, propagovat, a využít neurčitosti v rámci Structure from Motion.

Computer vision algorithms, such as Structure from Motion, Simultaneous Localization and Mapping, and Multi-View Stereo, generate three-dimensio\-nal scenes for a wide range of applications in industry and entertainment (\eg, robot navigation, self-driving cars, and virtual reality). Although a significant amount of research has been devoted to maximum likelihood estimates of scene parameters, advanced statistical inputs are not typically incorporated, even though they have the potential to improve the speed, accuracy, and robustness of 3D reconstruction. This thesis aims to provide a comprehensive guide on modeling and utilizing uncertainty in Structure from Motion. Specifically, the thesis focuses on describing the uncertainty of image keypoints and affine regions, \ie, the estimate of the detector uncertainty. We present a new approach for better modeling the keypoints' covariance matrices and the positional uncertainty of the affine regions. Next, the uncertainties of feature point transformations are estimated using a large-scale dataset of homographies. This allows us to create the first estimate of the orientation and scale uncertainty of detected regions by the SIFT detector. The thesis presents a new general scheme for propagating uncertainty in minimal camera geometry estimation problems, along with a library of related functions. The challenges of uncertainty propagation through the projection function are addressed and overcome using two developed methods. Finally, the thesis applies uncertainty propagation to minimal problems, demonstrating the speedup of the robust model estimator.Moreover, a new accuracy-based criterion for camera model selection is presented and tested, along with an extension that benefits from multiple reprojection error thresholds. Selecting of an appropriate camera model results in a more accurate and faster reconstruction. In summary, the thesis is the guide to modeling, propagating, and utilizing uncertainty in Structure from Motion.