Učení optického toku bez učitele

Abstract

Konvoluční neuronové sítě v současnosti dominují odhadu optického toku. Metody učení neuronových sítí se dělí do tří skupin: učení s učitelem, které používá vstupy s požadovanými výstupy, učení bez učitele, které vyžaduje pouze vstupy a kombinace učení s učitelem a bez učitele, které se pokouší sloučit obojí. Tato práce navrhuje novou metodu kombinace učení s učitelem a bez učitele. Metoda formuluje optimalizaci při trénování jako omezený gradientní sestup na ztrátové funkci zahrnující termy z učení bez učitele. V doméně učení bez učitele je provedena systematická studie vybraných současných technik. Konkrétně jsou testovány tři techniky měření fotometrického rozdílu - rozdíl jasu, Census transformace a structural similarity. Současný výzkum ukazuje, že zohledňování zákrytů hraje roli při učení bez učitele a proto jsou otestovány dvě metody - detekce zákrytů pomocí zpětné konzistence z UnFlow a třísnímkové zohledňování okluzí z Janai et al.. Kromě těchto technik testujeme také vliv velikosti trénovacího datasetu a term zpětné konzistence ve ztrátové funkci. Experimenty ohledně kombinace učení s učitelem a bez učitele ukazují, že přidáním cíle z učení bez učitele pomocí navrhované metody výrazně zlepšuje odhad optického toku na vzdálené doméně a přitom zachovává přesnost na doméně výchozí. Konkrétněji je pokles chyby demonstrován na uměleckém Creative Flow+ datasetu, přičemž model zachovává přesnost na datasetu Sintel. Překvapivě je efekt pozorován i bez použití snímků z Creative Flow+. Experimenty s učením bez učitele ukazují, že učení s fotometrickým rozdílem určovaným pomocí Census transformace vede k větší přesnosti na všech testovaných datasetech. Ani jedna z obou testovaných metod pro zohledňování zákrytů výrazně nezvětšuje přesnost. Výsledky naznačují, že selhává schopnost přesně najít zákryty. Experimenty ukazují, že velké množství trénovacích dat nevede ve všech případech ke zlepšení přesnosti. Překvapivě, katastrofální úbytek přesnosti není zaznamenán při trénování na pouze osmdesáti párech snímků.

Convolutional neural networks currently dominate in optical flow estimation. Neural network learning methods are categorized to three groups: supervised needing inputs and desired outputs, self-supervised needing just inputs and semi-supervised attempting to combine both. This work proposes a new method of semi-supervised optical flow learning. The method formulates the training optimization as constrained gradient descent on a supervised loss function that includes self-supervised terms. In the self-supervised domain, a systematic study of selected current practices is done. Specifically, three photometric difference measures are tested - brightness difference, census transform and structural similarity. Current research suggests that occlusion handling plays a role for self-supervised learning. Two methods are tested - forward backward consistency occlusion detection from UnFlow and three-frame occlusion reasoning from Janai et al.. Apart from these techniques, we also test the training dataset size effect and forward-backward consistency loss function term. The experiments regarding semi-supervision show that including the unsupervised objective with the proposed method significantly improves the estimation on a distant domain while maintaining the performance on the original domain. More specifically, the error decrease is demonstrated on an artistic-like Creative Flow+ dataset while the model maintain its accuracy on the popular Sintel dataset. Surprisingly, the effect is observed even wihtout using any Creative Flow+ samples. The self-supervised training experiments show that learning with census photometric difference leads to better accuracy on all tested datasets. Out of the two occlusion handling methods, none significantly increases the performance. The results suggest that the methods are unable to accurately detect occlusions. The experiments show that a large amount of training data does not necessarily lead to a performance increase. Surprisingly, training on as little as eighty frame pairs does not lead to a catastrophic loss of accuracy.