Sledování objektu s pomocí SAM, Dino, Monodepth nebo CLIP reprezentace

Abstract

Tato práce představuje několik přístupů ke zlepšení modelu Segment Anything Model 2 (SAM2), základního modelu pro segmentaci obrazu a videa, zejména v náročných scénářích sledování. Nejprve jsou identifikována omezení modelu SAM2, po nichž následuje podrobná analýza jeho architektury a komponent.

Klíčová zjištění ukazují, že model SAM2 má problémy s přesností a robustností při sledování malých objektů nebo objektů s chudě definovaným povrchem. K řešení tohoto problému jsme navrhli přístup založený na vyřezávání, který se zaměřuje na udržení okna kolem objektu během celého videa, což přináší významná zlepšení na datových sadách Visual Object Tracking (VOT).

Dále demonstrujeme, že zapojení optického toku do procesu výběru masky v dekodéru SAM2 přináší zlepšení ve scénářích zahrnujících pomalý a plynulý pohyb objektů. Nicméně za obecných podmínek integrovaný optický tok postrádal dostatečnou přesnost.

Na závěr jsou zkoumány dvě úpravy v architektuře SAM2: zvýšení memory stride v memory bance a vyloučení prázdných masek z memory banky. Tyto úpravy významně zlepšují robustnost sledování a celkový výkon modelu v různých scénářích sledování.This work presents several approaches to enhance the Segment Anything Model 2 (SAM2), a foundation model for image and video segmentation, particularly in challenging tracking scenarios. The limitations of SAM2 are outlined, followed by a comprehensive analysis of its architecture and components.

Key findings reveal that SAM2 struggles with accuracy and robustness when tracking small or textureless objects. To address this, a cropping-based approach is proposed, which focuses on maintaining a window around the object throughout the video, yielding notable improvements on the Visual Object Tracking (VOT) challenge datasets.

Additionally, we demonstrate that incorporating optical flow into the mask selection process of the SAM2 mask decoder shows improvement in scenarios involving slow and smooth object motion. However, under general conditions, the integrated optical flow lacked accuracy.

Finally, two architectural modifications are explored: increasing the memory stride in the memory bank and excluding empty mask predictions from the memory bank. These adjustments consistently enhance tracking robustness and overall model performance across various tracking scenarios.