Hranové kódování pro hluboké neuronové sítě

Abstract

Získání systémů pro automatickou strukturální optimalizaci modelů strojového učení (ML) je žádoucí ze dvou hlavních důvodů. Za prvé může ušetřit ML designérům víceméně přímočarou práci a za druhé, dokáže odhalit velmi efektivní a kompaktní struktury, které by člověkem pravděpodobně nebyly objeveny. Pozoruhodný úspěch v oblasti ML klasifikátorů dosáhla umělá neuronová síť (ANN), zejména hluboká ANN (DNN), která představuje model--based systém s příslušnou vnitřní architekturou, která určuje výkonnost modelu. Pro optimalizaci topologie ANN existuje několik metod založených na různých principech, kde mnohé z nich vychází z použití evolučních algoritmů (EA). Cílem diplomové práce je zkoumat nový přístup k optimalizaci architektury DNN pomocí algoritmu genetického programování (GP) v populaci počítačových programů, které generují DNN. Jedinec je v kontextu použitého EA počítačový program, jehož instrukce pracují s reprezentací grafové struktury pomocí metody zvané hranové kódování. Domněnka této práce je, že tento typ kódování se správným nasazením v kontextu ANN může generovat modely s hierarchickými a modulárními architekturami, které jsou obzvláště výhodné v mnohých náročných ML úlohách. \newpage

Acquiring systems for automatic structure optimization of machine learning (ML) models is desirable from two main reasons. Firstly, it can save ML designers man hours from more or less straightforward work and secondly, it can detect very effective and compact structures that would be very unlikely to be discovered by human. Notable success in the field of supervised ML classifiers achieved the artificial neural network (ANN), especially the deep ANN (DNN), which represents a model based system with particular internal architecture, that determines its performance. For the ANN topology optimization there exist several methods based on various principles where some of them are based on evolutionary algorithms (EA). Thesis' objective is to investigate a new approach for DNN architecture optimization by the use of genetic programming (GP) algorithm over a population of computer programs that generate DNN. Individual in the context of used EA is a computer program whose instructions work with graph structure representation via the method called edge encoding. The belief is, that such type of encoding with a proper deployment in the context of ANN, can generate models with hierarchical and modular architectures that are especially valuable in most of the complex ML tasks.