Automatické nastavování velikosti neuronových sítí v omezeném čase
Anytime Learning with Auto-Sizing Neural Networks
Type of document
diplomová prácemaster thesis
Author
Vojtěch Cahlík
Supervisor
Kordík Pavel
Opponent
Holeňa Martin
Field of study
Znalostní inženýrstvíStudy program
InformatikaInstitutions assigning rank
katedra aplikované matematikyRights
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Show full item recordAbstract
Algoritmy označované jako anytime slouží k produkování aproximativních výsledků, jejichž kvalita se s výpočetním časem zlepšuje. Tato diplomová práce se zaměřuje na aplikaci anytime algoritmů v úlohách strojového učení za využití metody auto-sizing, která umožňuje efektivní prořezávání komponent umělých neuronových sítí pomocí gradientní optimalizace. V rámci diplomové práce je původní auto-sizing rozšířen do metody nazvané dynamický auto-sizing, která umožňuje měnit velikost a strukturu modelů během tréninku upravováním aplikované síly regularizace, a tato technika je dále začleněna do několika anytime algoritmů strojového učení. Výsledky experimentů ukazují, že dynamický auto-sizing může být úspěšně použit v různorodých klasifikačních a regresních úlohách, často s lepšími výsledky než za použití tradičních přístupů. Anytime algorithms produce approximative results whose quality improves with computation time. The thesis focuses on applying anytime algorithms on machine learning tasks with use of auto-sizing neural networks, which are deep learning models that can efficiently prune their components during training and are trainable with gradient-based optimization methods. As part of the thesis, auto-sizing is extended into a novel technique called dynamic auto-sizing, which allows to dynamically change the size and structure of the models during training according to the applied regularization strength, and the technique is incorporated into several anytime learning algorithms. The experimental evaluation shows that dynamic auto-sizing models can successfully be used in various classification and regression tasks and often provide an improvement in predictive performance over traditional approaches.
Collections
- Diplomové práce - 18105 [194]