3D rekonstrukce s časově proměnlivou geometrií

Abstract

Metody rekonstrukce 3D modelů okolního světa jsou již dlouho studovaným a důkladně probádaným tématem. Většina technik 3D počítačového vidění je postavená na perspektivním modelu kamery, jehož parametry se nemění v čase. Existuje ovšem spousta případů, kdy tento předpoklad neplatí. Například, většina dnešních fotoaparátů používá CMOS sensor s elektronickou plovoucí uzávěrkou, který exponuje každý řádek obrazu v jiný čas. Pokud se takováto kamera pohybuje, jako je tomu například u natáčení videa rukou, u leteckého snímkování, nebo u rozšířené reality, výsledný obraz bude obsahovat zkreslení. Tato zkreslení mají za následek nefunkčnost standardních algoritmů počítačového vidění. Abychom v takovém případě dosáhli uspokojivých výsledků, potřebujeme standardní metody rozšířit o nový model kamery. Tato práce navrhuje nové algoritmy upravené pro práci s plovoucí uzávěrkou a představuje nové modely kamery, které popisují její pohyb během snímání a díky tomu poskytují lepší výsledky ve výše popsaných situacích. Několik algoritmů pro výpočet absolutní polohy kamery je navrženo a otestováno jak na syntetických datech, tak na reálných scénách, kde vykazují lepší výsledky než předchozí metody. Verze algoritmu pro absolutní polohu kamery s využitím gravitačního vektoru získaného z inerciální měřící jednotky je také navržena a otestována. Jednoduché, lineární, iterativní algoritmy pro výpočet absolutní polohy kamery s plovoucí uzávěrkou jsou odvozeny, poskytujíc porovnatelné výsledky, ale větší rychlost. Všechna navrhovaná řešení potřebují pouze minimální počet korespondencí mezi scénou a obrazem a jsou velmi rychlé, což z nich dělá vhodné kandidáty pro robustní odhad parametrů pomocí schématu RANSAC. Jejich rychlost je také činí vhodnými pro aplikace v reálném čase, jako je například rozšířená realita. Metoda vyrovnání svazku paprsků je klíčovou technikou 3D počítačového vidění, která optimalizuje zároveň parametry kamer i 3D scény. V této práci diskutujeme problém nasazení nových modelů popisujících pohyb kamery v metodě vyrovnání svazku paprsků a poukazujeme na kritické konfigurace, které vedou optimalizační metodu k nevyhnutelnému pádu do špatného lokálního minima. Z principu této kritické konfigurace je zřejmé, že se jí lze v praxi vyhnout pořizováním fotografií specifickým způsobem, což jsme ověřili na syntetických i reálných datech. Dalším případem, kdy standardní metody, které neuvažují časově proměnlivou geometrii kamer a scény, selhávají, je nesynchronizovaný systém více kamer. Multi-kamerové systémy mají mnoho využití od autonomního řízení automobilů po snímání lidského pohybu. Různé systémy obsahující více kamer jsou vyvíjeny a je nutná jejich kalibrace a synchronizace v čase, aby mohly fungovat správně. Kalibrace multi-kamerových systémů může být velmi obtížná a časově náročná, obzvlášť pokud nejsou hardwarově časově synchronizované, čehož je většinou obtížné až nemožné dosáhnout. Automatická kalibrace z objektů pohybujících se v prostoru je vhodná, ale k získání přesných obrazových korespondencí je zapotřebí přesné časové synchronizace.

Methods for reconstructing 3D models of our environment have been long established and well studied. The majority of 3D computer vision techniques rely on the perspective camera model, which does not change its parameters over time. However, there are many cases where this assumption does not accurately fit the reality of the image capture process. For example, a majority of today's cameras use CMOS sensors with a rolling shutter, which exposes every image line at a different time. When such a camera is moving, e.g., in hand-held videos, aerial footage, or augmented reality applications, the images will contain distortions. These distortions cause standard computer vision algorithms to fail. We need a different camera model that can describe the camera motion as well in order to make the standard methods work to our satisfaction. This work proposes new rolling-shutter adapted algorithms and presents models that describe camera motion during the image capture and, therefore, provide improved results. Several algorithms for computing rolling shutter camera absolute pose are proposed and verified on real data and show improved results over the state-of-the-art methods. A version of the camera absolute pose algorithm that utilizes the inertial measurement unit, in particular, the gravity vector is also presented. Simple linearized iterative versions of the rolling shutter absolute pose solvers are derived, providing comparable performance and superior speed. All presented solutions require only a minimal number of points and are fast, which makes them ideal candidates for robust estimation using the RANSAC paradigm. Their fast run-time makes them suitable for real-time applications such as augmented reality. Bundle adjustment is a key technique in 3D computer vision that jointly optimizes the camera parameters and 3D scene parameters. We discuss the problem of a general bundle adjustment method with rolling shutter camera models and point out an important degeneracy that causes the optimization to inevitably choose a wrong local minimum. Due to the nature of the degenerate configuration, it is easy to avoid it if the images are taken in a specific way, which we verify on synthetic as well as real data. Another case where standard algorithms that do not consider time variant geometry can fail is an unsynchronized multi-camera system. Multi-camera systems have many applications from autonomous driving to human motion capture. Various systems are being developed and need to be calibrated and time synchronized in order to work properly. Calibrating multi-camera systems can be cumbersome and time-consuming especially when cameras are not hardware synchronized, which is often difficult or impossible. Calibration from moving objects in the scene is desired, but to obtain correct image correspondences, one needs precise time synchronization. We present a solution to jointly estimate two-camera geometry, i.e. the fundamental or homography matrix, and time shift, enabling the calibration of two cameras in time and in space from motion in image sequences. The solution is again based on a minimal number of points and is efficient enough to be used in RANSAC. The method does not require any special image content, apart from the scene not being completely static. Further, an iterative algorithm on top of the direct solution is proposed, allowing the synchronization of sequences with large time offsets on the order of seconds, which was verified on publicly available real datasets.