Coin-Tracking - Oboustranné sledování plochých objektů

Šerých Jonáš

Coin-Tracking - Double-Sided Tracking of Flat Objects

Type of document

diplomová práce
master thesis

Author

Šerých Jonáš

Supervisor

Matas Jiří

Opponent

Zimmermann Karel

Field of study

Počítačové vidění a digitální obraz

Study program

Otevřená informatika

Institutions assigning rank

katedra kybernetiky

Rights

A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html
Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html

Metadata

Show full item record

Abstract

Diplomová práce prezentuje nový typ problému sledování, nazvaný coin-tracking, ve kterém jsou sledované objekty přibližně ploché, což znamená, že je v každém okamžiku vidět pouze jedna z jejich dvou stran, jelikož druhá strana je zcela zakryta tou viditelnou. Pro takovéto objekty platí, že je hranice mezi jejich stranami vždy viditelná, až na případné překryvy jinými objekty. Použití standardních algoritmů pro sledování objektů ve videu není za těchto podmínek vhodné. V práci analyzujeme coin-tracking problém a navrhujeme pro jeho řešení algoritmus, který kombinuje hlubokou neuronovou síť pro segmentaci a odhad viditelné strany podle vzhledu objektu s klasickou metodou založenou na rozpoznávání objektů podle jeho tvaru a s algoritmem odhadujícím 3D pózu objektu. Tento algoritmus poskytuje pro každý snímek vstupního videa na výstupu segmentační masku objektu společně s identifikátorem viditelné strany. Kvalitu navrženého algoritmu jsme otestovali na datové sadě videí pro coin-tracking, kterou jsme sestavili a oanotovali bounding boxy a indikátorem viditelné strany objektu.

The thesis introduces a novel type of visual tracking problem, coin-tracking, in which the objects being tracked are approximately flat, meaning that only one of the object's two sides can be visible at any given time, as the other side is fully self-occluded. It also holds, that the boundary between the object's two sides is always visible, except for occlusions by other objects. Because of the inherent properties of the coin-tracking sequences, the standard visual tracking algorithms are not suitable. We analyse the problem and propose an coin-tracking algorithm that combines appearance-based deep neural network with a classical shape-based object classification approach and an estimator of the object pose in order to provide a segmentation mask and a visible side indicator for each frame of the input video sequence. The presented algorithm is evaluated on a coin-tracking dataset, that we have collected and annotated with bounding boxes and visible side labels.