Systém pro správu neuronových sítí

Abstract

Tato diplomová práce se zabývá návrhem a vývojem systému pro automatizované nasazení neuronových sítí. Cílem této práce je vytvořit systém, který na základě uživatelem předaných dat naučí model neuronové sítě, automatizovaně jej nasadí do Kubernetes klastru a vystaví API pro komunikaci s uživatelem. Aby měl uživatel možnost přidat další funkcionalitu k již vytvořeným modelům neuronových sítí, nabízí systém možnost vytvořit uživatelské moduly, jejichž kód zadá uživatel v rámci klientské aplikace. Tyto moduly jsou propojeny s modelem neuronové sítě skrze třídy klasifikace. První část práce je zaměřena na popis neuronových sítí, jejich proces učení a vybraných architektur. V druhé části je popsána architektura tohoto systému, příkladové případy užití, požadavky na tento systém, popis uživatelů systému a zvolené metody strojového učení. Na základě výsledků druhé části je ve třetí části popsán proces implementace jednotlivých komponent systému, rozhraní jejich komunikace a popis implementace a měření zvolených neuronových sítí. Vyvinutými komponentami jsou REST Kotlin API, které zpracovává požadavky klientské aplikace a komunikuje s Kubernetes klastrem. Dále tato komponenta obsluhuje rovněž vyvinuté REST Kotlin API, které vytváří Docker obrazy z uživatelem zadaného kódu. Dále byla vyvinuta klientská aplikace sloužící k interakci s uživatelem a zpracování výsledků vrácených REST API a tři modely neuronových sítí pro zpracování obrázků, klasifikaci log záznamů a zpracování psaného textu pro potřeby informačních chatbotů. Poslední vyvinutou komponentou je šablona v jazyce Python, která je spojena s uživatelským zdrojovým kódem. Celý systém byl otestován a popis průběhu testování společně se zvolenými testovacími metodami jsou popsány ve čtvrté kapitole. Proces nasazení systému do produkčního či testovacího prostředí je popsán v páté kapitole. V závěru je diskutována budoucnost systému a další možná rozšíření.

This master thesis deals with the design and development of a system for automated deployment of neural networks. The aim of this work is to create a system that train a neural network model based on user-submitted data, deploys it automatically to the Kubernetes cluster and build an API for communication with the user. In order to allow the user to add additional functionality to the neural network models which already created, the system offers the possibility to create user modules whose source code is entered by the user within the front end application. Those modules are linked to the neural network model through classification classes. The first part is focused on the description of neural networks. The second part describes the architecture of this system, examples of use, requirements for this system, description of system users and selected methods of machine learning. Based on the results from the second part, the third part describes the process of implementation of the individual components of the system, the interface of their communication and the description of the implementation of measurement of selected neural networks. The developed components are REST Kotlin API, which handles client application requests, communicates with the Kubernetes cluster and also handles the developed REST Kotlin API, which creates Docker images from the user-specified code. In addition, a client application was developed to interact with the user and process the returned REST API results, and three models of neural networks for image processing, log classification, and written test processing for information chatbots. The entire system has been tested and a description of the testing process and the selected test method, both automatic and manual testing, are described in Chapter Four. The process of deploying the system to the production or test environment is described in Chapter 5. In the end, the future of the system and other possible extensions are discussed.