Detekce relevantních záběrů pomocí bodů zájmu pro přeřazování videí

Abstract

Práce se zabývá problémem vyhledávání videí obsahujících konkrétní objekt. Abychom se vyhnuli indexování vizuálního obsahu neměnného korpus videí, používáme dvoufázový přístup. Nejprve je získán krátký seznam videí z webu pro sdílení videí, a tento seznam je poté seřazen podle vizuálního obsahu. Podle názvu či fráze specifikující objekt se z internetu získají obrázky a videa pravděpodobně znázorňující objekt, a to na základě textového dotazu na jejich název či anotaci. Každé video je rozděleno na jednotlivé záběry. Práce navrhuje nový detektor záběrů založený na wide-baseline matching. Z obrázků je sestrojen vizuální model objektu. Snímky videa z každého záběru jsou efektivně porovnány s vizuálním modelem pomocí lokálních příznaků obrazu. Relevantnost záběru je pak definována jako doba viditelnosti objektu zájmu.

This thesis addresses the problem of retrieving videos that contain a specific object. To avoid indexing visual content of a fixed corpus of videos, a two-stage approach is adopted. First, a short-list of videos is obtained from a video sharing site, then, the short-list is re-ranked based on the visual content. In particular, given a name or phrase specifying an object, images and videos are collected from the Internet possibly depicting the object using a textual query on their name or annotation. Each video is divided into shots. Novel shot detector based on fast wide-baseline matching is proposed. A visual model of the object is constructed from the images. Video frames of each shot are efficiently matched to the visual model through local image features. Shot relevance is defined as the duration of the visibility of the object of interest.