Evaluating and Improving Depth Map Consistency in 3D Reconstructions Recorded by iPad Pro
Evaluace a zlepšení konzistence hloubkových map nahrávaných pomocí iPad Pro
Authors
Supervisors
Reviewers
Editors
Other contributors
Journal Title
Journal ISSN
Volume Title
Publisher
České vysoké učení technické v Praze
Czech Technical University in Prague
Czech Technical University in Prague
Date
Abstract
Tato diplomová práce zkoumá nový výzkumný směr zvyšování konzistence hloubkových map ve 3D rekonstrukcích pomocí technologií strojového učení. Vysoce kvalitní 3D rekonstrukce vyžadují pokročilé korekční techniky k řešení nepřesností hloubkových map zaznamenaných nízkonákladovými zařízeními. Běžným přístupem je statisticky vybrat nejpravděpodobnější povrch průměrováním naměřených hodnot, např. pomocí Signed Distance Function (SDF), a nepředpokládat závislost na metodě získávání hloubkových map, např. pomocí LIDAR nebo MultiView Stereo (MVS). Tato práce představuje dva přístupy založené na neuronových sítích, pixelový a konvoluční, pro zlepšení kvality hloubkových map. Pixelový přístup zpracovává hloubkové mapy na bázi jednotlivých pixelů, optimalizuje hloubkové hodnoty napříč více pohledy a zvyšuje tak konzistenci. Mezitím konvoluční přístup využívá konvoluční neuronovou síť k zajištění přesnosti a konzistence hloubky z různých pohledů, efektivně slučuje hloubková data z LIDAR a Multi-View Stereo systémů. Experimentální výsledky ukazují, že tyto metody zlepšují konzistenci hloubkových map.
This thesis explores a new research direction of enhancing the consistency of depth maps in 3D reconstructions, by using machine learning technologies. High-quality 3D reconstructions require advanced correction techniques to address inaccuracies of depth maps captured by low-cost devices. The common approach is to statistically select the most probable surface by averaging measured values, e.g., Signed Distance Function (SDF), and not assume dependence on depth maps acquisition method, e.g., by LIDAR or MultiView Stereo (MVS). This work introduces two neural network-based approaches, the pixel-wise and convolutional neural network to refine depth map quality. The pixel-wise approach processes depth maps on a per-pixel basis, optimizing depth values across multiple views to enhance consistency. Meanwhile, the convolutional approach utilizes a convolutional neural network to ensure depth accuracy and consistency from different viewpoints, effectively merging depth data from LiDAR and Multi-View Stereo systems. Experimental results demonstrate that these methods improve the consistency of depth maps.
This thesis explores a new research direction of enhancing the consistency of depth maps in 3D reconstructions, by using machine learning technologies. High-quality 3D reconstructions require advanced correction techniques to address inaccuracies of depth maps captured by low-cost devices. The common approach is to statistically select the most probable surface by averaging measured values, e.g., Signed Distance Function (SDF), and not assume dependence on depth maps acquisition method, e.g., by LIDAR or MultiView Stereo (MVS). This work introduces two neural network-based approaches, the pixel-wise and convolutional neural network to refine depth map quality. The pixel-wise approach processes depth maps on a per-pixel basis, optimizing depth values across multiple views to enhance consistency. Meanwhile, the convolutional approach utilizes a convolutional neural network to ensure depth accuracy and consistency from different viewpoints, effectively merging depth data from LiDAR and Multi-View Stereo systems. Experimental results demonstrate that these methods improve the consistency of depth maps.