ČVUT DSpace
  • Search DSpace
  • Čeština
  • Login
  • Čeština
  • Čeština
View Item 
  •   ČVUT DSpace
  • Czech Technical University in Prague
  • Faculty of Electrical Engineering
  • Department of Cybernetics
  • Bachelor Theses - 13133
  • View Item
  • Czech Technical University in Prague
  • Faculty of Electrical Engineering
  • Department of Cybernetics
  • Bachelor Theses - 13133
  • View Item
JavaScript is disabled for your browser. Some features of this site may not work without it.

Uvolněná kvantizace a binarizace neuronových sítí

Relaxed Quantization and Binarization for Neural Networks

Type of document
bakalářská práce
bachelor thesis
Author
Martin Mráz
Supervisor
Shekhovtsov Oleksandr
Opponent
Azayev Teymur
Study program
Kybernetika a robotika
Institutions assigning rank
katedra kybernetiky



Rights
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html
Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Show full item record
Abstract
Kvantované neuronové sítě (QNNs) pomáhají implementovat rozsáhlé modely na zařízeních s omezenými hardwarovými zdroji. Cílem této práce je porovnat a zlepšit metody pro trénování QNNs, aby se zmenšil rozdíl mezi kvantizovanými a 'full-precision' modely. Diskretizace je obecně nediferencovatelný proces, a proto je nevhodná pro optimalizaci zpětným šířením gradientu chyby. Zavedení stochastičnosti do neuronových sítí tento problém řeší za cenu složitějšího tréninkového procesu. Byly studovány dvě rodiny metod pro trénování QNNs. Obě zavádějí do standardních neuronových sítí stochastickou kvantizaci. Jedna rodina vzorkuje stochastické kvantizované hodnoty během dopředné propagace. Druhá rodina propaguje momenty pravděpodobnostních rozdělení. Navrhujeme zjednodušení metod založených na vzorkování a navrhujeme, že by pravděpodobnostní propagace mohla být použita pro předtrénování sítí. Předtrénování umožňuje využít jinak pomalu se učící binární neuronové sítě na širší škále architektur hlubokých neuronových sítí. Experimenty ověřují funkčnost obou přístupů na datasetech MNIST a CIFAR.
 
Quantized neural networks (QNNs) help implement large-scale models on devices with limited hardware resources. This thesis aims to compare and improve methods for training QNNs, so the gap between quantized and full-precision models closes. Discretization is generally a non-differentiable procedure and, therefore, unsuitable for gradient-based backpropagation. The introduction of stochasticity to the network solves this issue for the price of a more complex training process. Two families of methods were studied to train QNNs. Both introduce stochastic quantization into the standard NNs. One family samples stochastic quantized values in the forward pass. The other family propagates moments of probability distributions. We propose simplifications to sampling-based methods and suggest that probabilistic propagation can be used for pre-training. Pre-training enables the otherwise slow learning binary NNs to be used on a broader range of deep NN architectures. Experiments validate the functionality of both approaches on the MNIST and CIFAR datasets.
 
URI
http://hdl.handle.net/10467/100861
View/Open
PLNY_TEXT (2.038Mb)
POSUDEK (101.2Kb)
POSUDEK (93.26Kb)
Collections
  • Bakalářské práce - 13133 [622]

České vysoké učení technické v Praze copyright © 2016 

DSpace software copyright © 2002-2016  Duraspace

Contact Us | Send Feedback
Theme by 
@mire NV
 

 

Useful links

CTU in PragueCentral library of CTUAbout CTU Digital LibraryResourcesStudy and library skillsResearch support

Browse

All of DSpaceCommunities & CollectionsBy Issue DateAuthorsTitlesSubjectsThis CollectionBy Issue DateAuthorsTitlesSubjects

My Account

Login

České vysoké učení technické v Praze copyright © 2016 

DSpace software copyright © 2002-2016  Duraspace

Contact Us | Send Feedback
Theme by 
@mire NV