Konfigurovatelný nástroj pro tvorbu syntetických dat

Abstract

Při vyhodnocování funkcionality algoritmů z oboru počítačového vidění či při trénování nových algoritmů za pomocí metody strojového učení, velké množství algoritmů obsahujících dodatečné ground truth výstupy, které reprezentují ideální výsledek daných algoritmů. V této práci jsme analyzovali existující datatové sady určené pro počítačové vidění. Zkoumali jsme, jak jsou taková data získávána jak ve skutečném světě, tak pomocí simulací. Navrhli jsme nástroj na zjednodušení tvorby syntetických dat tohoto typu a naimplementovali jsme ho jako rozšíření editoru Unity. Naše implementace je schopná využít texturované 3D modely a na jejich základě generovat mimo jiné informaci o povrchových normálách, hloubkových mapách, sémantické segmentace, optického toku a pohybových maskách. S využitím našeho nástroje jsme vygenerovali tři ukázkové datové sady.

When evaluating existing computer vision algorithms or training new machine learning algorithms, large datasets of various images with ground truth, the ideal known solution to the currently solved problem, need to be acquired. We review existing real-life datasets containing ground truth, which are used in computer vision, and explore how they were acquired. We then recount different synthetic datasets, and survey the different ways such data can be calculated. We propose a tool to simplify generation of such data, and implement such tool as an extension of the Unity editor. Our implementation is able to use textured 3D models to generate image sequences with additional labeling, such as surface normals, depth map, object segmentation, optical flow, motion segmentation among others. We use the tool to create a set of three example datasets.