Základy symetrií v hlubokém učení
Exploring Symmetries in Deep Learning
dc.contributor.advisor | Šír Gustav | |
dc.contributor.author | Martin Krutský | |
dc.date.accessioned | 2021-06-07T22:51:38Z | |
dc.date.available | 2021-06-07T22:51:38Z | |
dc.date.issued | 2021-06-07 | |
dc.identifier | KOS-958759760005 | |
dc.identifier.uri | http://hdl.handle.net/10467/94670 | |
dc.description.abstract | Mnoho aplikací hlubokého učení se zabývá aproximací funkcí, které obsahují nějakou formu symetrie vzhledem k jejich vstupu. Tento fakt se však často při tvorbě architektury zanedbává, výjimkou jsou pouze hojně rozšířené konvoluční neuronové sítě. V této práci zkoumám širší spektrum architektur, které v rámci svých výpočtů explicitně využívají symetrií v datech, od neuronových sítí se sdílenými vahami a konvolucí, po specializované modely jako jsou Deep Sets a grafové neuronové sítě. Tyto architektury poté na relevantních ukázkových problémech, které vykazují různé známky symetrií, porovnávám s konvenčními neuronovými sítěmi. Mezi zkoumané problémy patří jednoduché funkce jako je XOR, sčítání množin celých čísel, ale také detekce vzorce v binárním poli, či rozlišování izomorfních a neizomorfních grafů. Na závěr poznatky z předchozích experimentů využívám pro řešení netriviálního problému klasifikace stavů Rubikovy kostky. Poznatky této práce obecně podporují tezi, že pro problémy vykazující známky symetrií je využití architektur explicitně využívajících těchto symetrií efektivnější než použití konvenčních neuronových sítí, a to jak pro rychlost učení, tak pro generalizaci na daných problémech. | cze |
dc.description.abstract | Many applications of deep learning involve approximation of functions that exhibit some form of symmetries with respect to their inputs. However, this fact is often neglected by machine learning practitioners, with the exception of the widespread use of convolutional neural networks. In this thesis, I explore a wider range of neural architectures that explicitly exploit domain symmetries in their computation, ranging from simple weight-sharing schemes and convolutions to specialized models such as Deep Sets and graph neural networks. I then compare the performance of these architectures with conventional neural models across respective example problems exhibiting various symmetries. These range from learning of simple functions such as XOR and integer set sum to pattern detection within a binary array and distinguishing isomorphic from non-isomorphic graphs. Finally, I build on the previous findings to solve a nontrivial problem of classification of the Rubik's Cube states. The findings of this thesis generally support the intuition that for problems exhibiting symmetries, the symmetry-aware neural architectures are more efficient in terms of training and generalization performance than their common, symmetry-unaware counterparts. | eng |
dc.publisher | České vysoké učení technické v Praze. Vypočetní a informační centrum. | cze |
dc.publisher | Czech Technical University in Prague. Computing and Information Centre. | eng |
dc.rights | A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html | eng |
dc.rights | Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html | cze |
dc.subject | neuronové sítě | cze |
dc.subject | hluboké učení | cze |
dc.subject | symetrie | cze |
dc.subject | sdílení parametrů | cze |
dc.subject | konvoluce | cze |
dc.subject | grafové neuronové sítě | cze |
dc.subject | neural networks | eng |
dc.subject | deep learning | eng |
dc.subject | symmetries | eng |
dc.subject | parameter sharing | eng |
dc.subject | convolutions | eng |
dc.subject | graph neural networks | eng |
dc.title | Základy symetrií v hlubokém učení | cze |
dc.title | Exploring Symmetries in Deep Learning | eng |
dc.type | bakalářská práce | cze |
dc.type | bachelor thesis | eng |
dc.contributor.referee | Janisch Jaromír | |
theses.degree.discipline | Základy umělé inteligence a počítačových věd | cze |
theses.degree.grantor | katedra kybernetiky | cze |
theses.degree.programme | Otevřená informatika | cze |
Soubory tohoto záznamu
Tento záznam se objevuje v následujících kolekcích
-
Bakalářské práce - 13133 [778]