Neural Arithmetic
Neural Arithmetic
Type of document
bakalářská prácebachelor thesis
Author
Oleksii Shuhailo
Supervisor
Heim Niklas Maximilian
Opponent
Seitz Dominik Andreas
Study program
Electrical Engineering and Computer ScienceInstitutions assigning rank
katedra počítačůRights
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Show full item recordAbstract
Neural networks can learn complex functions, but they often have troubles with extrapolating even simple arithmetic operations on real numbers beyond the training range. A sub field of Neural Networks called Neural Arithmetic tries to address this extrapolation problem by making use of arithmetic operations like addition, multiplication, or division. This thesis provides a comparison between different arithmetic layers on their extrapolation performance for simple functions and on a recurrent task. Additionally, we exploit how arithmetic models can be used to build more transparent models by trying a simple equation discovery. The general introduction is done in Section 1. Section 2 describes Neural Networks and Neural Arithmetic layers. Section 3 contains the function learning, recurrent, and equation discovery experiments and Section 4 the conclusion. Neural networks can learn complex functions, but they often have troubles with extrapolating even simple arithmetic operations on real numbers beyond the training range. A sub field of Neural Networks called Neural Arithmetic tries to address this extrapolation problem by making use of arithmetic operations like addition, multiplication, or division. This thesis provides a comparison between different arithmetic layers on their extrapolation performance for simple functions and on a recurrent task. Additionally, we exploit how arithmetic models can be used to build more transparent models by trying a simple equation discovery. The general introduction is done in Section 1. Section 2 describes Neural Networks and Neural Arithmetic layers. Section 3 contains the function learning, recurrent, and equation discovery experiments and Section 4 the conclusion.
Collections
- Bakalářské práce - 13136 [1124]
Related items
Showing items related by title, author, creator and subject.
-
Predikce dosažení význačných bodů v trajektorii letu
Author: Anu Bataa; Supervisor: Fábera Vít; Opponent: Hanton Karel
(České vysoké učení technické v Praze. Vypočetní a informační centrum.Czech Technical University in Prague. Computing and Information Centre., 2022-09-03)Tato bakalářská práce se zabývá analýzou aplikací pravděpodobnostního statistického modelu a modelu neuronových sítí na prostorová data pro predikce času, ve kterém letadlo dosáhne zadaných významných bodů na své trajektorii, ... -
Bayesovské učení binárních neuronových sítí
Author: Tejas Bhatnagar; Supervisor: Shekhovtsov Oleksandr; Opponent: Flach Boris
(České vysoké učení technické v Praze. Vypočetní a informační centrum.Czech Technical University in Prague. Computing and Information Centre., 2023-02-01)Neural Networks with binary weights are of special interest as they are computation friendly and do not demand a lot hardware. However, training is rather challenging as they these binary weights do not have a gradient. ... -
Neuronové sítě s pamětí
Author: Kužela Ondřej; Supervisor: Jiřina Marcel; Opponent: Pavlíček Josef
(České vysoké učení technické v Praze. Vypočetní a informační centrum.Czech Technical University in Prague. Computing and Information Centre., 2016-05-09)Neuronové sítě s pamětí jsou rodinou neuronových sítí, které kromě klasické paměti ve formě vah, sloužících pro dlouhodobé závislosti, obsahují také jinou formu paměti. Ta slouží pro uchovávání střednědobých, občas také ...