Změna stylu obrazových dat z denních na noční s kontrolou osvětlení

Abstract

Předtím než se samořídící vozidla stanou věcí každodenního života, je nezbytné spolehlivě vyřešit bezpečné řízení v nepříznivých podmínkách, jako je noc. Algoritmy počítačového vidění -- které jsou zásadní pro optimální řízení a rozhodovací systémy -- typicky vyžadují mnoho dat. Získávání nočních dat je však drahé a ruční anotování je extrémně pracné. Proto se zabýváme náročným problémem rozšiřování dat a navrhujeme nový přístup v překladu obrázku ze dne na noc s 3D kontrolou osvětlení. Pro vytvoření fotorealistických nočních obrázků využíváme jak klasické renderovací techniky, tak i moderní hluboké neuronové sítě. S osvětlenými nočními obrázky doslova vrháme světlo na skutečný problém detekce objektů. Pomocí současného silničního datasetu denních a nočních obrázků BDD100K trénujeme detektor objektů na několika směsích reálných a falešných (syntetizovaných nočních) obrázků s původními anotacemi scény a vyhodnocujeme jeho výkon na reálných nočních testovacích datech. Experimentální výsledky ukazují, že náš přístup je srovnatelný, nebo dokonce překonává konkurenční state-of-the-art metody pro překlad obrázků. Navíc se správnou směsí reálných a falešných dat naše navržená metoda posiluje výkon detektoru.Before a self-driving car becomes a matter of everyday life, it is essential to reliably solve safe driving in adverse conditions, such as night. Computer vision algorithms -- that are vital for optimal control and decision-making systems -- are typically data-driven. Nevertheless, the acquisition of nighttime data is expensive, and hand-labeling is extremely laborious. Therefore, we address the challenging problem of data augmentation and propose a novel approach in day-to-night image translation with 3D-aware light control. We leverage classical rendering techniques as well as contemporary deep neural networks to produce photorealistic nighttime images. With the illuminated nighttime images, we literally shed light on the real-world problem of object detection. Using a recent day-night driving dataset BDD100K, we train the object detector on several mixtures of real and fake (nighttime synthesized) images with the original scene annotations and evaluate its performance on real nighttime testing data. Experimental results show that our approach is on par or even outperforms competitive state-of-the-art methods for image translation. Furthermore, with a proper mixture of real and fake data, our method proposed boosts the detector performance.