Rozšíření dat pro trénink neuronových sítí

Abstract

Tato diplomová práce je zaměřena na techniky použité pro rozšíření stávajících trénovacích dat pro trénink neuronových sítí se zaměřením na datasety obsahující obrázky lidí. Pro účely vývoje, trénování, validace a testování byly vytvořeny vhodné datasety. Nejprve jsou zkoumány současné techniky na rozšiřování datasetu založené na metodách zpracování obrazu a přínosy těchto metod. Dále je navržen nový systém pro generování obrázků lidí. Schopnost generovat osoby v obecných, ale uvěřitelných pozach přináší výhody při učení systémů detekce lidí. Pro oblast autonomního řízení, která je hlavní motivací této práce, je toto ještě důležitější a to ze dvou hlavních důvodů. Zaprvé kvůli tomu, že stávající datasety jsou velice limitované co se póz lidí týče. Zadruhé je to pak existence přísných bezpečnostních předpisů pro aplikace autonomního řízení, které požadují validaci systémů v krajních situacích. Z toho vyplývá, že je velice výhodné mít systém, který umožňuje generovat obrázek člověka v zadané poze. Navržený systém je postaven na generativních soupeřících sítích (Generative Adversarial Networks). Mezi hlavní přínosy této práce patří inovativní architektura síti a nové ztrátové funkce navržené za účelem generování vizuálně přitažlivých obrázků osob. Výsledek použití takového systému pro rozšíření existujícího datasetu ukazuje navýšení výsledné úspěšnosti systému pro detekci chodců založeného na konvolučních neuronových sítích.

The focus of this thesis is on techniques that can be used for the augmentation of an existing image dataset -- specifically, a dataset containing humans in the individual images. For the purpose of the development, training, and evaluation of these techniques, a suitable dataset is obtained. First, current augmentation techniques based on image processing methods are explored, and their benefits are shown. Next, a novel framework for the conditional generation of images containing people is proposed. The ability to generate people in arbitrary, yet admissible, poses is beneficial for the training of any system involving human detection. It is especially important for the main motivation behind this work -- the Autonomous Driving industry. Firstly, because the existing datasets are quite limited in the human pose and appearance variation. Secondly, because the strict safety requirements in autonomous driving applications call for the ability of validation in rare situations. In other words, it is advantageous to have the ability to sample from the huge distribution of admissible pose variants of pedestrians. The proposed approach allows generating images of people in a sensible required pose, specified via pose keypoints. It builds on top of the recent prevailing success of Generative Adversarial Networks \cite{goodfellow2014generative}. The contributions comprise of a novel network architecture, as well as the novel loss terms specifically designed to generate visually appealing pedestrians seamlessly fitting the surrounding environment. The result of using such a network for augmentation of an existing dataset shows an increase of the resulting performance of the CNN based human detection system.