Hodnocení prediktorů monokulární hloubky

Abstract

Tato práce se zabývá monokulárním odhadem metrické hloubky, tedy predikcí metrické hloubky na úrovni jednotlivých pixelů z jediného obrázku. Porovnáváme přesnost predikce pěti vybraných state-of-the-art modelů se zaměřením na jejich schopnost generalizace mezi různými datasety a robustnost, k čemuž využíváme hloubkové mapy získané z veřejně dostupných reálných datasetů obsahujících data z LIDARu. Pro zlepšení těchto predikcí navrhujeme ensembling modely založené na architekturách MobileNet V3 a Swin Transformer V2. Tyto modely přijímají jako vstup pět predikcí z porovnávaných modelů spolu s RGB obrázkem a učí se vytvářet odhad hloubky, který je přesnější než kterýkoli z těch vstupních. Dvě z navržených strategií navíc poskytují určitou míru interpretovatelnosti a ukazují, jak jsou jednotlivé predikce sloučeny do jedné. Jeden model založený na MobileNet V3 zároveň poskytuje i odhad jistoty v predikci hloubky, zatímco další model založený na Swin Transformer V2 částečně překonává problém nedostatečných detailů v reálných anotacích tím, že využívá detailní vstupní predikce jako tzv. pseudo-labels. Náš ensembling model založený na MobileNet V3 zlepšuje predikci tzv. in-dataset predikci o 3,33 % - 4,89 % ve sledovaných metrikách oproti srovnatelnému fine-tuning modelu. Na předtím neviděném datasetu GOOSE zlepšuje ensembling model, založený na Swin Transformer V2, metrické RMSE a afinně invariantní RMSE o 1,5 % a 2,5 % oproti nejlepšímu ze vstupních prediktorů.

This thesis investigates metric monocular depth estimation, which predicts pixel-level metric depth from a single image. We benchmark the prediction accuracy of five selected state-of-the-art models with a focus on cross-dataset generalisation and robustness, using ground-truth depth maps collected from publicly available real-world datasets with available LIDAR data. To improve upon these predictions, we design ensembling models based on the MobileNet V3 and Swin Transformer V2 architectures. These models take in five predictions from the benchmarked models and the RGB image, and learn to produce a depth estimate that is superior in accuracy to the input ones. Two of the proposed strategies offer a level of interpretability, showing how the input predictions are fused. One MobileNet V3-based model provides a confidence measure while a Swin Transformer V2-based model partially mitigates the notorious lack of detail in real-world annotations by using detailed input predictions as pseudo-labels. Our MobileNet V3-based ensemble improves in-dataset prediction by 3.33 % - 4.89 % in measured metrics over a comparable fine-tuning baseline. On the unseen GOOSE dataset, the Swin Transformer V2-based ensemble improves metric RMSE and affine-invariant RMSE by 1.5 % and 2.5 % over the best of the input predictors, respectively.