Škálování hlubokého relačního učení

Abstract

Hluboké relační učení zevšeobecňuje principy neuronových sítí na učení na relačních datech, čímž umožňuje využít přirozeně strukturální povahu takových dat (tvořenou např.~cizími klíči v relačních databázích) jako součást samotného učení. Přestože takový přístup má teoretický nevyužitý potenciál přinést novou revoluci do strojového učení otevřením dveří k přímému využití jednoho z patrně nejpopulárnějších formátů pro ukládání dat na světě, podobné disciplíny hlubokého učení se dosud nestaly příliš populárními, patrně z důvodu obtížné škálovatelnosti trénování takových neuronových sítí. Navzdory tomu, grafové neuronové sítě (GNN), samy o sobě podmnožinou hlubokého relačního učení, se v posledních letech staly relativně populárními a úspěšnými pokusy o hluboké učení na strukturálních (grafových) datech. Jmenované výzvy z hlediska škálovatelnosti se jim podařilo do značné míry překonat, hlavně díky schopnosti efektivního využití grafických karet pro trénování, které byly a nadále zůstávají jedním z hlavních pilířů drtivé většiny úspěchů strojového učení, které v posledních letech vídáme. Tato diplomová práce představuje ,,kompilátor'' pro neuronové sítě hlubokého relačního učení, který úspěšně využívá principy efektivního učení grafových neuronových sítí pro celou jejich nadmnožinu hlubokých relačních sítí. Měření rychlostí běhů jednotlivých trénovacích procedur vychází pro představený kompilátor nejen na stejné úrovni jako existující řešení pro grafové neuronové sítě, ale mnohdy vychází dokonce lépe, navzdory tomu, že představený kompilátor je daleko všeobecněji použitelný.

Deep relational learning generalizes neural networks to relational data, allowing to utilize the inherent structural nature of such data (the foreign keys in relational databases) as part of the learning itself. While this has the theoretical untapped potential of revolutionizing deep learning yet again, allowing the utmost utilization of arguably one of the most widespread data storage representations for deep learning, similar deep learning fields have not gained significant traction yet, most likely due to challenges with respect to the scalability of training such neural networks. Nonetheless, graph neural networks (GNNs), themselves a subset of deep relational learning, have in recent years become an unexpectedly popular and successful endeavor into deep learning on top of structural (graph) data. Despite said challenges, GNNs are relatively successful in terms of scalability of their training, namely through successful utilization of GPUs, hardware that has been one of the crucial components to the many recent successes of deep learning as a whole. This thesis introduces a compiler for deep relational networks, which utilizes the principles forming the backbone of efficient GNN training for the full class of deep relational learning architectures, thereby opening the doors to efficient deep learning on top of relational data. Performance benchmarks show that in terms of performance of the neural network training procedure itself, networks trained with the use of the compiler not only match, but often exceed the performance of existing solutions for GNNs, despite the compiler being significantly more generally applicable.