Generování trénovacích dat pro vizuální vyhledávání pomocí neuronových sítí

Abstract

Denní a noční změny vzhledu obrázků jsou řešeny uměle naučenou augmentací dat. Konvoluční neuronové sítě (CNN) jsou jednou z nejmodernějších technik pro vizuální vyhledávání. Nicméně, výkon hlubokých neuronových sítí je závislý na počtu dat. pokud dojde k zadání nepravidelného vyhledávání, které se liší od učících dat, projeví se to na nízké úspěšnosti vyhledávání. Augmentace je provedena pomocí pix2pix a CycleGAN, jež poskytují překlad z obrázku do obrázku, kde z běžných denních obrázků jsou generovány nepravidelné noční obrázky, a tento překlad je trénován na čtyřech datasetech. Pro změření kvality překladu obrázků jsou využita evaluační skóre pro generující adversariální sítě (GAN), která jsou v této práci zkoumána a porovnána s datovou augmentací. Výsledný efekt augmentace je testován prostřednictvím meřítek pro visuální vyhledávání, kde výsledky ukazují zlepšení na datasetu 24/7 Tokyo za menší ztráty výkonu na znovuvytvořených datasetech Oxford a Paris.

Daytime and nighttime visual appearance changes are addressed with artificially learned data augmentation. Convolutional neural networks (CNNs) are one of the state-of-the-art techniques for image retrieval. However, powerful deep neural networks are data-driven resulting in poor performance, when an irregular query, different from training data, is inputted. Augmentation is addressed with pix2pix a CycleGAN, used to provide image-to-image translation from regular daytime images into irregular nighttime images and are trained over four image datasets. To measure image translation quality, Generative Adversarial Network (GAN) evaluation scores are explored and compared with data augmentation. The final data augmentation effect is tested on the image retrieval benchmarks, where results show improvement on the 24/7 Tokyo dataset with minor performance loss on daytime Revisited Oxford and Paris datasets.