Automatické nastavování velikosti neuronových sítí v omezeném čase

Abstract

Algoritmy označované jako anytime slouží k produkování aproximativních výsledků, jejichž kvalita se s výpočetním časem zlepšuje. Tato diplomová práce se zaměřuje na aplikaci anytime algoritmů v úlohách strojového učení za využití metody auto-sizing, která umožňuje efektivní prořezávání komponent umělých neuronových sítí pomocí gradientní optimalizace. V rámci diplomové práce je původní auto-sizing rozšířen do metody nazvané dynamický auto-sizing, která umožňuje měnit velikost a strukturu modelů během tréninku upravováním aplikované síly regularizace, a tato technika je dále začleněna do několika anytime algoritmů strojového učení. Výsledky experimentů ukazují, že dynamický auto-sizing může být úspěšně použit v různorodých klasifikačních a regresních úlohách, často s lepšími výsledky než za použití tradičních přístupů.

Anytime algorithms produce approximative results whose quality improves with computation time. The thesis focuses on applying anytime algorithms on machine learning tasks with use of auto-sizing neural networks, which are deep learning models that can efficiently prune their components during training and are trainable with gradient-based optimization methods. As part of the thesis, auto-sizing is extended into a novel technique called dynamic auto-sizing, which allows to dynamically change the size and structure of the models during training according to the applied regularization strength, and the technique is incorporated into several anytime learning algorithms. The experimental evaluation shows that dynamic auto-sizing models can successfully be used in various classification and regression tasks and often provide an improvement in predictive performance over traditional approaches.