Korespondence v obrazech pro dynamické scény

Abstract

Hledání korespondencí mezi obrázky je důležitý krok v zaměřeních počítačového vidění jako jsou 3D rekonstrukce, hledání podobných obrázků a slepování obrázků. Vyzdvihujeme, že je důležité brát v potaz dynamické scény s různými pohyby, protože skutečný svět je dynamický. Navrhujeme rychlou hladovou metodu pro detekování několika homografií a jejich následné slučování do skupin podle pohybů. K tomuto účelu využíváme dvě vlastnosti dvou spolu se pohybujících homografií: jejich složení je planární homologie a z jejich korespondencí lze dobře vypočítat epipolární geometrii. Ukazujeme, že naše metoda funguje stejně dobře nebo lépe než sekvenční aplikování metody RANSAC. Dále navrhujeme sloučit znalost o skupinách korespondencí, které máme pro páry obrázků, do globálních skupin korespondencí, pokud máme k dispozici více než dva snímky. Tyto globání skupiny dále vložíme do klasického systému na rekonstrukci poloh kamer a bodů, abychom získali řídké rekonstrukce. Rekonstrukční systém je implementován pomocí knihovny, kterou jsme navrhli, aby byla spolehlivá, snadno rozšiřitelná a rychlá. Metodu na rekonstrukci ověřujeme na snímcích zachycující tři pohybující se objekty.

Image matching is an important intermediate step for computer vision tasks such as 3D reconstruction, image retrieval, and image stitching. We argue that it is important to consider dynamic scenes with different motions because the real world is dynamic. We propose a fast greedy approach for detection of multiple homographies and their subsequent grouping into motion groups. For this purpose, we utilize two properties valid for two homographies that move together; their composition is a planar homology and epipolar geometry can be fitted well to their inliers. We show that our approach performs just as well or better than sequential application of RANSAC. Furthermore, we propose to fuse the groupings of matches available for every image pair into global grouping of n-view matches when more than two views are available. Next, we supply the groups of n-view matches to an incremental structure-from-motion pipeline to compute sparse 3D reconstructions independently. The pipeline is implemented using our library which we have designed to be reliable, easy to extend, and efficient. The approach for reconstruction of dynamic scenes is evaluated on a dataset with three moving objects.