Neuronové sítě s pamětí

Abstract

Neuronové sítě s pamětí jsou rodinou neuronových sítí, které kromě klasické paměti ve formě vah, sloužících pro dlouhodobé závislosti, obsahují také jinou formu paměti. Ta slouží pro uchovávání střednědobých, občas také nazývaných dlouho-krátkodobých, závislostí. Taková paměť může být buď interní nebo externí. V rámci této práce poskytuji souhrnný náhled na rodinu neuronových sítí s pamětí. Na základě analýzy existujících modelů také navrhuji nový model, který nazývám Recurrent Neural Modules with External Memory. Tento model nabízí nový a inovativní přístup k použití externí paměti v rámci neuronových sítí, jelikož nasazuje externí paměť na úrovni částí sítě a tudíž obsahuje několik externích pamětí v rámci jedné sítě. Výkonnost nově navrženého modelu byla testována na Air Travel Information System (ATIS) datasetu.

Neural networks with memory are the family of the neural networks that except the classic memory for the long-term dependencies, in a form of the weights, also contain another form of a memory. Such a memory serves to retain the mid-term, sometimes also called long-short-term, dependencies and can be of two different types, either internal or external. Within this thesis I offer a summarizing overview of the family of the neural networks with memory. Based on the analysis of the existing models I also propose a new model of the Recurrent Neural Modules with External Memory. This model offers a new and innovative approach to the usage of the external memory within the neural networks, since it deploys the external memory on the scope of parts of the network and thus deploys multiple external memories within one network. The performance of the newly proposed model was evaluated on the Air Travel Information System (ATIS) dataset.