Sledování s pomocí hustých korespondencí

Abstract

Dlouhodobé sledování bodů je úloha počítačového vidění, ve které se mají body označené v jednom snímku videa lokalizovat v celém videu.Sledování hustě rozmístěných bodů umožňuje aplikace, které by nebyly možné se standardním sledováním na úrovni obdélníků ohraničujících objekt nebo segmentačních masek.V této práci se řeší tři úlohy dlouhodobého sledování husté sady bodů.Za prvé, nová metoda odhadu homografie z optického toku dosahuje špičkových výsledků ve sledování plochých objektů.Za druhé jsou navrženy dvě nové metody pro sledování všech bodů z daného vzorového snímku.Obě kombinují optický tok odhadnutý mezi sousedními i mezi vzdálenými snímky do dlouhých trajektorií a dosahují dobrých výsledků i rychlosti.Nakonec je představena úloha coin-tracking společně se základní coin-tracking metodou a datovou sadou pro vyhodnocování.V úloze coin-tracking jsou sledované objekty ploché a dvoustranné.To, která z obou stran je právě viditelná, se často mění, což vede k novým výzvám, které se při běžném sledování plochých objektů obvykle nevyskytují.

Tracking of a dense set of query points enables applications that would not be possible with standard standard bounding-box-level or segmentation-level tracking.In this thesis, three instances of the dense long-term tracking task are addressed.First, a novel method for estimating homographies from optical flow achieves state-of-the-art planar tracking performance.Second, two novel methods for dense point tracking -- tracking of all points from a template frame -- are proposed.The trackers combine optical flows estimated between both adjacent and distant frames to form long-term tracks, and achieve good performance while tracking fast.Last, a novel coin-tracking task is introduced, together with a baseline coin-tracking method and a coin-tracking benchmark.In coin-tracking, the target objects are flat and two-sided.Which of the two sides is currently visible changes frequently, leading to new challenges that mostly do not occur in common planar object tracking.