Hluboká neuronová sít pro mapování města s využitím dat z Google Street View

Abstract

S rozvojem výpočetní síly a rozsáhlýmidatovými soubory vede masivní zlepšeníhluboké neuronové sítě k mnoha rozšíře-ným aplikacím. Jednou z aplikací hlubokéneuronové sítě je řešení problémů počíta-čového vidění, jako je klasifikace a segmen-tace. Soutěž jako ImageNet Výzva provizuální rozpoznávání ve velkém měřítku posunula schopnost na další úroveň;v některých případech je klasifikace lepšínež lidská.Tato práce je příkladem aplikace vyu-žívající schopnost neuronových sítí. Do-kument popisuje implementaci, metodiku,experimenty prováděné pro vývoj softwa-rových řešení pomocí hluboké neuronovésítě na obrázkových prostředcích z ob-rázků Google Street View .Uživatel poskytuje soubor geojson se-stávající z oblasti zájmu ve tvaru čtvercenebo mnohoúhelníku jako vstup. GoogleStreetView API stáhne dostupné ob-rázky. Snímky jsou nejprve zpracoványpomocí nejmodernějších CNN (Mask R-CNN), aby detekovaly objekty, kla-sifikovaly je pomocí skóre spolehlivosti,vytvořily ohraničující rámeček a kolemdetekovaného objektu malovaly pixely. .Textový soubor ukládá informace, jakojsou souřadnice ohraničovacího rámečku,název třídy a hodnoty masky.Obyčejný RGB (panoramatický) sní-mek z GSV neobsahuje žádné hloubkovéúdaje. Obrázky jsou zpracovávány s jinýmnejmodernějším CNN (monodepth2),aby se odhadla hloubka objektů v obra-zech po pixelech.Průměrná hodnota hloubky v masce sepoužívá jako vzdálenost objektu. Souřad-nice ohraničovacího rámečku se používajípro umístění objektu v jiných osách.Výsledné výstupy jsou markery deteko-vaných objektů, které jsou základem mapy.Sloupcový graf pro vizualizaci počtu de-tekcí ve třídě. Textový soubor obsahujícípočet detekcí pro každou třídu. Výstupz každého kroku zpracování výše, jakojsou detekce, hloubkové obrázky, hodnotymasky pro porovnání a vyhodnocení.

With the advancement of computation power and large datasets, a massive improvement of the deep neural network leads to many widespread applications. One of the applications of the deep neural network is solving computer vision problems like classification and segmentation.Competition like ImageNet Large Scale Visual Recognition Challenge, took the capability to the next level; in some cases, classification is better than human. This thesis is an example of an application that utilizes the ability of neural networks. The document describes the implementation, methodology, experiments done for developing software solutions by using the deep neural network on image resources form Google Street View images. The user provides a geojson file consists of an area of interest in the form of square or polygon as the input. Google StreetView API downloads the available images. The images are first processed with the state of the art CNN (Mask R-CNN) to detect the objects, classify them with the confidence score, generate a bounding box, and a pixel-wise mask around the detected object. The text file stores information like coordinates of the bounding box, name of the class, and the mask values. An ordinary RGB ( panoramic ) image from GSV does not consist of any depth data. The images are processed with another state of art CNN (monodepth2), to estimate the pixel-wise depth of the objects in the images. The averaged value of the depth within the mask is used as the distance of the object. The coordinates of the bounding box are used for positioning of the object in other axes. The resulting outputs are markers of detected objects underlying in the map. A bar graph to visualize the number of detection per class. A text file containing the number of detection per each class. The output from each processing step above, like detections, depth images, mask values to compare and evaluate.