Základy symetrií v hlubokém učení

Abstract

Mnoho aplikací hlubokého učení se zabývá aproximací funkcí, které obsahují nějakou formu symetrie vzhledem k jejich vstupu. Tento fakt se však často při tvorbě architektury zanedbává, výjimkou jsou pouze hojně rozšířené konvoluční neuronové sítě. V této práci zkoumám širší spektrum architektur, které v rámci svých výpočtů explicitně využívají symetrií v datech, od neuronových sítí se sdílenými vahami a konvolucí, po specializované modely jako jsou Deep Sets a grafové neuronové sítě. Tyto architektury poté na relevantních ukázkových problémech, které vykazují různé známky symetrií, porovnávám s konvenčními neuronovými sítěmi. Mezi zkoumané problémy patří jednoduché funkce jako je XOR, sčítání množin celých čísel, ale také detekce vzorce v binárním poli, či rozlišování izomorfních a neizomorfních grafů. Na závěr poznatky z předchozích experimentů využívám pro řešení netriviálního problému klasifikace stavů Rubikovy kostky. Poznatky této práce obecně podporují tezi, že pro problémy vykazující známky symetrií je využití architektur explicitně využívajících těchto symetrií efektivnější než použití konvenčních neuronových sítí, a to jak pro rychlost učení, tak pro generalizaci na daných problémech.

Many applications of deep learning involve approximation of functions that exhibit some form of symmetries with respect to their inputs. However, this fact is often neglected by machine learning practitioners, with the exception of the widespread use of convolutional neural networks. In this thesis, I explore a wider range of neural architectures that explicitly exploit domain symmetries in their computation, ranging from simple weight-sharing schemes and convolutions to specialized models such as Deep Sets and graph neural networks. I then compare the performance of these architectures with conventional neural models across respective example problems exhibiting various symmetries. These range from learning of simple functions such as XOR and integer set sum to pattern detection within a binary array and distinguishing isomorphic from non-isomorphic graphs. Finally, I build on the previous findings to solve a nontrivial problem of classification of the Rubik's Cube states. The findings of this thesis generally support the intuition that for problems exhibiting symmetries, the symmetry-aware neural architectures are more efficient in terms of training and generalization performance than their common, symmetry-unaware counterparts.