Paměť v hlubokém učení

Abstract

V předkládané práci zkoumáme neuronové sítě využívající pamět, konkrétněji rekurentní neuronové sítě, plastické neuronové sítě a jejich kombinace. Výše zmíněné sítě testujeme v doménách meta-learning a meta-reinforcement learning. V prostředí Binary Sequences, které jsme použili pro testování, je cílem algoritmu zapamatovat si binární vzory, které jsou mu ukázany a následně si je vybavit po tom co je mu ukázána degradovaná verze jednoho z nich. Cílem algoritmu v prostředí Maze je maximalizovat odměnu získanou v bludišti, kde se pozice odměny nachází na jiném míste v každé testované epizodě. V prostředí Binary Sequences dosahovaly plastické neuronové sítě lepších výsledků, než rekurentní neuronové sítě. V prostředí Maze měly oba přístupy srovnatelné výsledky. Pro prostředí Maze, jsme navrhli dva testy, které ukázaly, že plastické sítě zvládají lépe prozkoumávat bludiště, zatímco rekurentní sítě se dokáží lépe přizpůsobit prostředí během jedné epizody. Po kombinaci rekurentní a plastické sítě, výsledná neuronová síť dosahovala horších výsledků v prostředí Binary Sequences a lepších výsledků v prostředí Maze. V posledním experimentu, jsem zkoumali různé modifikace plastických sítí a ukázali jsme jejich přidanou hodnotu.

In our work, we study neural networks utilizing memory, more specifically, plastic neural networks, recurrent neural networks, and their combinations. The networks are used in the meta-learning and meta-reinforcement learning domains. In the Binary Sequences environment, the task of the algorithm is to remember binary patterns and reconstruct them upon a presentation of their degraded versions. The goal of the algorithm in the Maze environment is to maximize the reward obtained from finding a reward in the maze, where the position of the reward differs for each episode. In the Binary Sequences environment, the plastic neural networks outperformed the recurrent neural networks. In the Maze environment, the networks achieved similar performance. For the Maze environment, we devised two tests, which show that the plastic neural networks are capable of better exploring the maze, while recurrent neural networks better adapt to the environment during the episode. The combination of plastic and recurrent networks decreases the performance in the Binary Sequences environment, while increasing the performance in the Maze environment. In the last experiment, we investigated the different modifications for the plastic neural networks, and shown their added value to the network.