Vizualizace učení neuronových sítích

Abstract

Tato bakalářská práce se zabývá analýzou a vizualizací učení neuronových sítí ve formě ztrátové funkce. První část této práce je teoretický základ hlubokého učení. Druhá část je zkoumání povrchu ztrátové funkce v závislosti na architektuře neuronové sítě. Hlavním zaměřením bakalářské práce jsou feedforward networks, zejména jejich použití v úlohách klasifikaci obrázku a regrese. Korektnost a zobecnitelnost algoritmů jsou měřeny pomocí validační přesnosti, a potom jsou porovnány s tvarem povrchu ztrátové funkce. Bylo zjištěno, že zkoumané metody na vizualizaci povrchu ztrátové funkce jsou vhodné jen pro nalezení významných chyb, jako je špatná volba architektury sítě nebo typu ztrátové funkce, ale zároveň jsou neefektivní pro vizualizaci pokročilých metod jako je zřetězování DenseNetu.

This bachelor thesis's subject aims to visualize and analyze neural networks' training as a loss function. The first part of the thesis is the theoretical basis of deep learning. The second part is researching the loss surface shape depending on the deep learning network architecture. The thesis primarily focuses on feedforward neural networks, particularly on their usage in image classification and regression tasks. The generalizability is measured in the form of validation accuracy and is compared to the loss surface curvature. It was found that the examined loss surface visualization methods are suitable for significant problem detection, such as lousy architecture or loss function choice, yet are ineffective for the evaluation of the more advanced method such as DenseNet concatenating.