Coin-Tracking - Oboustranné sledování plochých objektů

Abstract

Diplomová práce prezentuje nový typ problému sledování, nazvaný coin-tracking, ve kterém jsou sledované objekty přibližně ploché, což znamená, že je v každém okamžiku vidět pouze jedna z jejich dvou stran, jelikož druhá strana je zcela zakryta tou viditelnou. Pro takovéto objekty platí, že je hranice mezi jejich stranami vždy viditelná, až na případné překryvy jinými objekty. Použití standardních algoritmů pro sledování objektů ve videu není za těchto podmínek vhodné. V práci analyzujeme coin-tracking problém a navrhujeme pro jeho řešení algoritmus, který kombinuje hlubokou neuronovou síť pro segmentaci a odhad viditelné strany podle vzhledu objektu s klasickou metodou založenou na rozpoznávání objektů podle jeho tvaru a s algoritmem odhadujícím 3D pózu objektu. Tento algoritmus poskytuje pro každý snímek vstupního videa na výstupu segmentační masku objektu společně s identifikátorem viditelné strany. Kvalitu navrženého algoritmu jsme otestovali na datové sadě videí pro coin-tracking, kterou jsme sestavili a oanotovali bounding boxy a indikátorem viditelné strany objektu.

The thesis introduces a novel type of visual tracking problem, coin-tracking, in which the objects being tracked are approximately flat, meaning that only one of the object's two sides can be visible at any given time, as the other side is fully self-occluded. It also holds, that the boundary between the object's two sides is always visible, except for occlusions by other objects. Because of the inherent properties of the coin-tracking sequences, the standard visual tracking algorithms are not suitable. We analyse the problem and propose an coin-tracking algorithm that combines appearance-based deep neural network with a classical shape-based object classification approach and an estimator of the object pose in order to provide a segmentation mask and a visible side indicator for each frame of the input video sequence. The presented algorithm is evaluated on a coin-tracking dataset, that we have collected and annotated with bounding boxes and visible side labels.