Celulární kódování pro hluboké neuronové sítě

Abstract

Umělá neuronová síť je výpočetní model, který je inspirován chováním a strukturou lidského mozku. Vetšina přístupů pro stavění neuronových sítí se snaží optimalizovat topologii a zároveň parametry sítě. Tento přístup se na první pohled může zdát ideální, ale pro velké neuronové sítě je nepoužitelný, především kvůli vysokému počtu vnitřních parametrů. Námi zvolený přístup je zaměřený pouze na optimalizaci topologie za použití bunečného kódování, evolučního algoritmu a gradientní metody. Tato kombinace vytváří ideální nástroj pro hledání topologie neuronových sítí. Na základě vstupních dat a vstupních parametrů najde algoritmus neuronovou síť s nejvyší možnou přesnostní.

Artificial Neural Network (ANN) is a computational system based on the structure and behaviour of a human brain. Most of the current approaches for building neural networks (NN) are trying to optimise both topology and the parameters of the neural network (synaptic weights, biases, etc.). Even though it seems like the ideal approach to let the algorithm optimise all the parameters it proved that for large networks it is unusable because the number of parameters is very high and with it the computational complexity. Our approach is focusing solely on topology optimisation by exploring the possibilities of Cellular Encoding (CE), Evolutionary Algorithms (EA) and gradient method. This combination provides an ideal tool for evolving neural network structures. Based on the input dataset and the input parameters the algorithm searches for the NN topology with the highest accuracy.