Dlouhodobý tracker všech rychlostí s použitím rozmazání

Abstract

Objekty pohybující se vysokou rychlostí podél složitých trajektorií se často objevují ve videích, zejména ve sportovních videích. Takové objekty se během doby expozice jednoho snímku pohybují přes nezanedbatelné vzdálenosti, a proto jejich poloha v jednom snímku není přesně definována. Navrhujeme nový koncept Tracking by Deblatting (TbD), který je založen na pozorování, že rozmazání způsobené pohybem přímo souvisí s trajektorií objektu v rámci jednoho snímku. Rozmazání se odhaduje řešením dvou závislých inverzních problémů, "blind deblurring" a "image matting", které nazýváme "deblatting". Nekauzální TbD metoda odhaduje spojité, úplné a přesné trajektorie objektů. Celá trajektorie se nalezne pomocí napasování po částech spojitých polynomů, které modelují fyzicky věrohodné trajektorie. Výstupem je spojitá funkce, která přiřazuje polohu objektu pro každý časový okamžik daný reálným číslem od nuly do počtu snímků. Výsledkem je, že sledované objekty jsou přesně lokalizovány s vyšším časovým rozlišením než výstup standardních sledovacích metod. Navržená sledovací TbD metoda byla vyhodnocena na nově vytvořené datové sadě videí s anotacemi získanými vysokorychlostní kamerou s využitím nové metriky TIoU, která zobecňuje tradiční průnik nad sjednocením (IoU) a měří přesnost trajektorií v rámci jednoho snímku. Učení šablony v kombinaci s dobře fungující tradiční sledovací metodou umožňuje dlouhodobé sledování objektů libovolných rychlosti. Ukazujeme, že z funkce trajektorie jsou možné přesné fyzikální výpočty, jako je například výpočet poloměru, gravitace nebo rychlosti objektu v rámci jednoho snímku. Výsledky ukazují vysokou úspěšnost TbD z hlediska TIoU, pokrytí a přesnosti odhadu rychlosti.

Objects moving at high speeds along complex trajectories often appear in videos, especially videos of sports. Such objects move over non-negligible distances during exposure time of a single frame and therefore their position in the frame is not well defined. We propose a novel approach Tracking by Deblatting (TbD) which is based on the observation that motion blur is directly related to the intra-frame trajectory of an object. Blur is estimated by solving two intertwined inverse problems, blind deblurring and image matting, which we call deblatting. Non-causal TbD method estimates continuous, complete and accurate object trajectories. Full trajectory is estimated by fitting piecewise polynomials, which model physically justifiable trajectories. The output is a continuous trajectory function which assigns location for every real-valued time stamp from zero to the number of frames. As a result, tracked objects are precisely localised with higher temporal resolution than by conventional trackers. The proposed TbD tracker was evaluated on a newly created dataset of videos with ground truth obtained by a high-speed camera using a novel TIoU metric that generalises the traditional Intersection over Union and measures accuracy of intra-frame trajectories. Template learning in combination with a standard long-term tracker allows for long-term object tracking in all speeds. We show that from the trajectory function precise physical calculations are possible, such as radius, gravity or sub-frame object velocity. Results show high performance of TbD in terms of TIoU, recall and speed estimation.