Husté odhady pohybu v jednookém videu

Abstract

Odhadování pohybu objektů ve videích je klíčovou výzvou v oblasti počítačového vidění.Analýza pohybu hraje zásadní roli v aplikacích, jako je navigace robotů, sledování vozidel nebo úprava videí, a poskytuje nezbytné nástroje pro interpretaci dynamických scén.Tato disertační práce se zaměřuje na tři důležité aspekty: odhad pohybu bodů mezi snímky videa, pohybu bodů napříč dlouhými sekvencemi videa a identifikaci jednotlivých objektů, které se pohybují nezávisle.Tyto komponenty společně přispívají k lepšímu pochopení pohybu v~dynamických scénách.Odhad pohybu pixelů mezi sousedními snímky videa, známý jako optický tok, představuje náročný úkol vzhledem k mnoha faktorům, jako jsou okluze, velké posuny nebo změny intenzity způsobené variacemi osvětlení či odrazy.K řešení těchto problémů je navržen nový přístup, který zlepšuje přesnost a robustnost, přičemž se zaměřuje zejména na řešení okluzí a začlenění informací z předešlých snímků.Odhadování hustých korespondencí v čase rozšiřuje možnosti optického toku tím, že udržuje korespondence napříč celými video sekvencemi.Nové metody, prezentované v této práci, řeší specifické výzvy dlouhodobého sledování, například akumulace chyb, středně dlouhé okluze a zajištění výpočetní efektivnosti.Kombinací pokročilých technik odhadu optického toku se strategiemi pro hodnocení kvality korespondencí v čase umožňuje přesnější a efektivnější sledování korespondencí v dlouhých sekvencích videa.Identifikace a segmentace objektů, pohybujících se nezávisle v rámci scény, známé jako segmentace pohybujících se instancí, přidává další vrstvu pochopení analýzy pohybu.Tento úkol je obzvláště náročný ve scénách s více pohybujícími se objekty nebo nejednoznačnými pohybovými vzory.Disertační práce představuje nový přístup k segmentaci nezávisle se pohybujících objektů, a to i ve složitých scénářích zahrnujících více objektů nebo nejednoznačné pohyby.Představená metoda integruje pohybové informace na úrovni jednotlivých bodů se sémantickými daty.Metoda umožňuje přesnou a obecně použitelnou segmentaci pohybujících se objektů v různorodých prostředích a datasetech.Estimating object motion in videos is a key challenge in computer vision.Accurate motion estimation plays a crucial role in applications such as robotic navigation, vehicle tracking, or video editing.This thesis focuses on three important motion estimation problems: estimating how points move between video frames, tracking points across long video sequences, and identifying individual objects as they move independently of the observer.Together, these components contribute to a better understanding of motion in dynamic scenes.Estimating how all points move between consecutive frames, known as optical flow estimation, is a challenging task due to various factors such as occlusions, large displacements, and intensity changes caused by lighting variations or reflections.To address these issues, this thesis proposes a novel approach to improve accuracy and robustness, with a particular focus on handling occlusions and incorporating temporal information across frames.Dense long-term tracking extends the scope of optical flow by ensuring that point positions are estimated for more than two frames.It estimates trajectories for all points throughout an entire video sequence.The novel methods presented in this thesis tackle the specific challenges of long-term tracking, including drift, medium-length occlusions, and computational efficiency.By combining advanced optical flow estimation techniques with strategies to evaluate tracking quality over time, these approaches enhance both the accuracy and efficiency of tracking across extended video sequences.Identifying and segmenting objects, as they move independently in a scene, adds another layer of understanding to motion estimation.This problem is known as instance motion segmentation, and that is challenging in scenes with multiple moving objects or ambiguous motion patterns.The thesis introduces a novel method to segment independently moving objects, even in scenarios involving multiple objects or ambiguous motion patterns.The novel method integrates point-level motion cues with semantic information to accurately segment moving objects, ensuring robustness across diverse environments and datasets.