Distribuované učení neuronových sítí
Distributed training of neural networks
Typ dokumentu
diplomová prácemaster thesis
Autor
Petr Tománek
Vedoucí práce
Pevný Tomáš
Oponent práce
Oberhuber Tomáš
Studijní obor
Softwarové inženýrstvíStudijní program
Otevřená informatikaInstituce přidělující hodnost
katedra počítačůPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Cílem této práce je prozkoumat a porovnat nejmodernější řešení pro distribuovanou metodu největšího spádu. Práce se zaměřuje na vylepšení metody největšího spádu (SGD), která je využita napříč strojovým učením. Na základě provedené řešerše jsou vybrány algoritmy, které jsou dále popsány a implementovány v programovacím jazyce Julia. Pro účely analýzy jsou využita data z bezpečnostní domény nejen s velkým počtem parametrů modelu, ale především i velikostí trénovacích dat. Tato data jsou využita ve formě hierarchického více-instančního modelu. Na těchto datech je následně provedena analýza. V rámci práce vznikly implementace distribuovaných algoritmů metody největšího spádu, které dosahují lepších výsledků než nejmodernější řešení, vzhledem k rychlosti zpracování. The goal of this thesis was to explore and compare the state-of-the-art methods of distributed gradient descent. This thesis focuses on improving the stochastic gradient descent method, that is being applied across Machine Learning. Based on the research we have selected algorithms, that are described and implemented in the Julia programming language. The data for purposes of analysis is selected from the domain of cybersecurity with not only a huge number of model parameters but especially a huge amount of training data. The analysis is performed on these datasets. Multiple distributed algorithms of Stochastic Gradient Descent were implemented as part of this thesis, that achieves better results than state-of-the-art methods in regard to processing time.
Kolekce
- Diplomové práce - 13136 [892]