Vyhledávání obrázků z náročných prostředí

Abstract

Vyhledávání založené na obrazové informaci je klíčová úloha počítačového vidění, s širokou škálou aplikací od systémů pro správu obsahu po vizuální lokalizaci v autonomním řízení. Nicméně složité podmínky, jako noční osvětlení, částečné zakrytí objektů nebo proměnlivé umělecké styly, představují významné technické výzvy.Většina stávajícího výzkumu se zaměřuje na denní fotografie, protože dostupné datasety jsou převážně složeny z denních snímků. Abychom umožnili rozšíření existujících metod pro reálné aplikace zahrnující noční prostředí, navrhujeme použití fotometrické normalizace a trénovací dataset obsahující jak denní, tak noční obrázky. Pro generování syntetických nočních dat z běžně dostupných denních snímků využíváme generativní adversariální sítě (GAN). Navíc zavádíme novou techniku hranové konzistence, která zlepšuje rychlost konvergence a stabilitu GAN modelu.Další výzvou je vyhledávání v případech, kdy jsou v databázových obrázcích viditelné pouze části dotazovaného objektu, například při vyhledávání památek na cestovatelských fotografiích, které jsou často zastíněné lidmi a předměty. V reakci na tuto výzvu jsme vyvinuli lokální deskriptor založený na konvolučních neuronových sítích, optimalizovaný pro následné porovnání metodou ASMK. Tento deskriptor zvyšuje robustnost vůči částečnému zakrytí tím, že se naučí zaměřovat se na rozpoznatelné lokální vlastnosti v obrázku.Oblast dějin umění přínáší unikátní využití počítačového vidění, jelikož historikové umění potřebují analyzovat velké kolekce děl a identifikovat vztahy mezi nimi. V dějinách umění existuje mnoho známých případů, kdy jeden umělec okopíroval námět z jiného obrazu. Proto definujeme novou úlohu "objevování inspirace", zaměřenou na identifikaci kompozičních vlivů mezi obrazy. Ukazujeme, že stávající modely v této úloze selhávají, a představujeme nový algoritmus, který využívá podobnost lidských póz pro vyhledávání navzdory odlišným stylům v obrazech.Tyto přístupy společně zlepšují možnosti vyhledávání pomocí obrazové informace v různorodých podmínkách -- od špatného osvětlení a zakrytí objektů až po analýzu komplexních kulturních datasetů.

Image retrieval is a crucial task in computer vision, with applications ranging from content management to visual localization for autonomous driving. However, retrieval under conditions such as night-time illumination, occlusions, and varying artistic styles presents unique challenges.Most existing image retrieval research focuses on day-time photographs, as available datasets contain mostly natural images captured during the day. To extend existing methods to real-world applications, which include night-time, we propose propose a photometric image normalization step and develop a day-night training dataset. We employ Generative Adversarial Networks (GANs) to generate synthetic night-time data from abundant day images, and introduce a novel edge consistency to improve the GAN model convergence speed and stability.Another challenge in retrieval arises when only a portion of the query image is visible in the database images. For example, when searching for landmarks in travel photos where they are often obscured by people or objects. We develop a CNN-based local descriptor optimized for the consequent ASMK matching, enhancing robustness in scenarios with partial occlusions by learning to focus on discriminative local features.Art history presents a unique use-case for computer vision, as art historians need to analyze large collections to discover relationships between different artworks. In art history, there are many known cases where one artist copied a theme from another painting. We define a novel task of inspiration discovery, which focuses on identifying compositional influences between paintings. We demonstrate that the current models do not perform well on the task and introduce an algorithm that uses human pose similarity to enable retrieval despite stylistic differences.Together, these approaches enhance the applicability of image retrieval techniques across diverse conditions, from low-light scenarios, through severely ocluded objects, to complex cultural datasets