Bayesovské učení binárních neuronových sítí
Bayesian Learning of Binary Neural Networks
Typ dokumentu
bakalářská prácebachelor thesis
Autor
Tejas Bhatnagar
Vedoucí práce
Shekhovtsov Oleksandr
Oponent práce
Flach Boris
Studijní program
Electrical Engineering and Computer ScienceInstituce přidělující hodnost
katedra kybernetikyObhájeno
2023-02-08Práva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Neural Networks with binary weights are of special interest as they are computation friendly and do not demand a lot hardware. However, training is rather challenging as they these binary weights do not have a gradient. Bayesian learning averages over a range of models that fit the data well and is thus able to provide us with a decent model itself. Another advantage Bayesian learning posses over existing common methods for training binary neural networks is that it is not empirical. However, despite these advantages over their continuous counter parts, Binary Neural Networks are significantly lag behind traditional neural networks in terms of performance. This is because training Binary networks is particularly difficult as it involves a discrete optimization problem. Moreover, traditional methods such Stochastic Gradient Descent can not be used to update the weights as the they are discrete and do not have a gradient. In this thesis, various Bayesian methods were explored such as Variational Bayesian Learning and Maximum Likelihood. Their performance is analyzed on a toy dataset drawn from generative data model. Existing methodology is also reviewed. Neural Networks with binary weights are of special interest as they are computation friendly and do not demand a lot hardware. However, training is rather challenging as they these binary weights do not have a gradient. Bayesian learning averages over a range of models that fit the data well and is thus able to provide us with a decent model itself. Another advantage Bayesian learning posses over existing common methods for training binary neural networks is that it is not empirical. However, despite these advantages over their continuous counter parts, Binary Neural Networks are significantly lag behind traditional neural networks in terms of performance. This is because training Binary networks is particularly difficult as it involves a discrete optimization problem. Moreover, traditional methods such Stochastic Gradient Descent can not be used to update the weights as the they are discrete and do not have a gradient. In this thesis, various Bayesian methods were explored such as Variational Bayesian Learning and Maximum Likelihood. Their performance is analyzed on a toy dataset drawn from generative data model. Existing methodology is also reviewed.
Kolekce
- Bakalářské práce - 13133 [714]
Související záznamy
Zobrazují se záznamy příbuzné na základě názvu, autora a předmětu.
-
Apriorní modely pro rubustní adversariální hluboké učení
Autor: Jose Ananias Hilario Reyes; Vedoucí práce: Flach Boris; Oponent práce: Schlesinger Dmitrij
(České vysoké učení technické v Praze. Vypočetní a informační centrum.Czech Technical University in Prague. Computing and Information Centre., 2019-06-18)Hluboké sítě naučené standardními metodami diskriminačního učení jsou náchylné k protichůdným vzorům. Výcvik nepřátelsky robustních hlubokých sítí proto vyžaduje nové metody učení. Jednou zajímavou možností je zahrnout ... -
Uvolněná kvantizace a binarizace neuronových sítí
Autor: Martin Mráz; Vedoucí práce: Shekhovtsov Oleksandr; Oponent práce: Azayev Teymur
(České vysoké učení technické v Praze. Vypočetní a informační centrum.Czech Technical University in Prague. Computing and Information Centre., 2022-05-31)Kvantované neuronové sítě (QNNs) pomáhají implementovat rozsáhlé modely na zařízeních s omezenými hardwarovými zdroji. Cílem této práce je porovnat a zlepšit metody pro trénování QNNs, aby se zmenšil rozdíl mezi kvantizovanými ... -
Konvoluční neuronové sítě v částicové fyzice
Autor: Kubů Miroslav; Vedoucí práce: Bouř Petr; Oponent práce: Kůs Václav
(České vysoké učení technické v Praze. Vypočetní a informační centrum.Czech Technical University in Prague. Computing and Information Centre., 2018-09-01)Analýza dat v částicové fyzice zahrnuje komplexní klasiťikační úlohy. Ty jsou v současnosti často řešeny speciťickými metodami strojového učení, jako jsou například hluboké neuronové sítě. Klíčové problémy identiťikace ...