Automatické nastavování velikosti neuronových sítí v omezeném čase
Anytime Learning with Auto-Sizing Neural Networks
Typ dokumentu
diplomová prácemaster thesis
Autor
Vojtěch Cahlík
Vedoucí práce
Kordík Pavel
Oponent práce
Holeňa Martin
Studijní obor
Znalostní inženýrstvíStudijní program
InformatikaInstituce přidělující hodnost
katedra aplikované matematikyPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Algoritmy označované jako anytime slouží k produkování aproximativních výsledků, jejichž kvalita se s výpočetním časem zlepšuje. Tato diplomová práce se zaměřuje na aplikaci anytime algoritmů v úlohách strojového učení za využití metody auto-sizing, která umožňuje efektivní prořezávání komponent umělých neuronových sítí pomocí gradientní optimalizace. V rámci diplomové práce je původní auto-sizing rozšířen do metody nazvané dynamický auto-sizing, která umožňuje měnit velikost a strukturu modelů během tréninku upravováním aplikované síly regularizace, a tato technika je dále začleněna do několika anytime algoritmů strojového učení. Výsledky experimentů ukazují, že dynamický auto-sizing může být úspěšně použit v různorodých klasifikačních a regresních úlohách, často s lepšími výsledky než za použití tradičních přístupů. Anytime algorithms produce approximative results whose quality improves with computation time. The thesis focuses on applying anytime algorithms on machine learning tasks with use of auto-sizing neural networks, which are deep learning models that can efficiently prune their components during training and are trainable with gradient-based optimization methods. As part of the thesis, auto-sizing is extended into a novel technique called dynamic auto-sizing, which allows to dynamically change the size and structure of the models during training according to the applied regularization strength, and the technique is incorporated into several anytime learning algorithms. The experimental evaluation shows that dynamic auto-sizing models can successfully be used in various classification and regression tasks and often provide an improvement in predictive performance over traditional approaches.
Kolekce
- Diplomové práce - 18105 [195]