Vizuální vyhledávání pomocí kompaktních reprezentací

Abstract

Tématem této práce je vyhledávání v rozsáhlých kolekcích obrázků pomocí obrazové informace s cílem najít všechny obrázky zobrazující konkrétní objekt. Hledaný objekt, tzv. dotaz, je také definován obrázkem, což může být fotografie, malba, hranový obrázek, náčrt, atd. Řešení tohoto problému má široké uplatnění v mnoha aplikacích jako je rozpoznání místa nebo polohy kamery, detekce porušení autorských práv, vyhledávání produktů nebo 3D rekonstrukce. Úloha vizuálního vyhledávání konkrétního objektu je náročná, protože reprezentace vzhledu objektu musí brát v úvahu: podstatnou změnu úhlu pohledu, meřítka či osvělení; podstatné zakrytí objektu; a různé formy vyobrazení (fotografie, malba, kresba, náčrt). Dalším požadavkem je, že vyhledávání musí běžet v reálném čase. V okamžiku, kdy uživatel odešle dotaz na vyhledání, musí okamžitě dostat výsledek, i pokud jsou prohledávány miliony obrázků. Abychom toho docílili, navrhujeme metody pro kompaktní reprezentace obrázků, které dosahují vysoké přesnosti a současně mají nízké paměťové a výpočetní nároky.

This thesis addresses the problem of visual retrieval in large-scale image datasets, where the goal is to find all images of an object instance. The object is specified by a query image, which can be a photograph, painting, edge-map, human-drawn sketch, etc. Solutions to this problem can be widely used in many applications such as place or location recognition, copyright violation detection, product search, 3D reconstruction, etc. The task of visual retrieval of an object instance is a challenging one, as the representation of the object appearance has to handle: significant viewpoint, scale, and illumination change; heavy occlusions; and, different image modalities (photograph, painting, cartoon, sketch). At the same time, the search has to be performed online, i.e., when a user submits the query, the response should be immediate, even when searching through millions of images. Towards this goal, we propose methods for compact image representation, that achieve high accuracy, while maintaining low memory and computational requirements.