Zachování identity objektů při jejich dlouhodobém sledování ve videu

Abstract

Hlavním cílem této práce je zlepšení přesnosti použitého systému pro sledování objektů ve videu. Vzhledem k tomu, že systém se skládá z více modulů, celkového zlepšení lze dosáhnout úpravami jeho jednotlivých částí.

Prvním krokem při zpracování videa je background subtraction. Zaměřili jsme se na problém falešných detekcí, takzvaných duchů, způsobených nepravidelně se pohybujícími objekty. Vyvinuli jsme metodu pro rozšíření background subtraction algoritmu o detekci duchů, která umožňuje tyto nesprávné detekce identifikovat a odstranit. Navrhli jsme pět různých kriteriálních funkcí, z nich čtyři jsou založené na přítomnosti hran v obraze na hranicích detekovaných objektů a jedna na rozdílu v barevné charakteristice hranice objektu vůči pozadí.

Tuto metodu jsme otestovali jednak vizuálně a jednak pomocí groundtruth pro background subtraction. Rovněž jsme otestovali její vliv na sledovací systém jako celek. Výsledky experimentů prokázaly pozitivní efekt navržené metody jak na samotný výstup background subtraction, tak i na celkový výkon systému.

Analýzou výstupu sledovacího systému jsme určili situace kdy dochází k chybám nejčastěji, to je přítomnost objektů mimo vyhodnocovanou oblast a nebo na krajích obrazu získaného z kamery. K vyřešení těchto problémů jsme provedli úpravy sledovacího systému, konkrétně rozšíření vyhodnocované oblasti a vhodnější pravidlo pro určení viditelnosti objektů v jednotlivých kamerách. Navrhovaná řešení jsme ověřili vyhodnocením jejich vlivu na sledovací systém. Výsledky dokládají významné zlepšení fungování systému.

Všechny experimenty byly provedeny na indoor i outdoor video sekvencích. Problémy, kterými jsme se v této práci zabývali, jsou běžné a nastávají i v mnoha dalších aplikacích. Proto jsme se zaměřili na to, aby i řešení, která jsme vypracovali, byla obecná a tudíž použitelná pro dosažení lepších výsledků v různých aplikacích.

This thesis presents work on improving a multi-view multi-target tracking system. The system is composed of separate modules and its overall performance can be improved by modifying the individual modules.

Background subtraction is the first step in processing the video data. The work is focused on solving a problem of false detections, so called ghosts, caused by infrequently moving objects. We developed a general method to identify and avoid these false detections. Different criteria functions for the ghost detection were proposed, four of them based on edge presence on the borders of objects and one based on comparison of the color characteristics on the border of objects to the background.

This method was evaluated visually and using background subtraction groundtruth. The effect of the method on the overall system performance was also tested. In both cases the results show improved performance.

By analyzing the output of the tracking system we identified situations in which errors occur most frequently. Those situations are when objects are present either outside of the area of interest for tracking or on the edge of the field of view of a camera. In order to solve these issues, we proposed modifications of the probabilistic occupancy map module of the tracking system. The modifications consist of extending the area of interest and employing more suitable object visibility rule. The impact of the modifications on the tracking system's performance was evaluated showing significant improvement.

All tracking experiments were conducted on both indoor and outdoor datasets. The problems we faced are common in many applications and the elaborated solutions can be successfully applied to improve them as well.