Efektivní implementace neuroevoluce pro úlohy posilovaného učení

Abstract

Bakalářská práce má za cíl vytvořit knihovnu, která umožňuje běh neuroevolučních algoritmů v prostředí webového prohlížeče. Ani neuroevoluce ani strojové učení nejsou v prostředí webového prohlížeče moc populární. Problém spočívá ve výkonu, monotónnosti jazyků a dalších faktorech. Rešerše přinese návrh řešení umožňující efektivní vývoj neuroevolučních algoritmů v prostředí webového prohlížeče. K tomu především využijeme technologie jako WebAssembly a Web Workers. Výsledná knihovna umožňuje vývojáři efektivně vyvíjet nové algoritmy neuroevoluce. Zároveň má knihovna k dispozici jednoduchý engine, ve kterém si mohou vývojáři implementovat vlastní modely prostředí, aniž by se museli starat o běh v prostředí JavaScriptu / webového prohlížeče. V rámci knihovny jsou také implementovány dva algoritmy (NEAT a HyperNEAT) a dvě prostředí v podobě jednoduchých her. Implementace knihovny byla na těchto prostředích otestována, čímž byla doložena její funkčnost a data o rychlosti konvergence. Knihovna je koncipována jako open-source projekt s kvalitní strukturou a dokumentací. Díky tomu může být dále rozšiřována a vylepšována.

The Bachelor's thesis aims to create a library that allows the running of neuroevolutionary algorithms in a web browser environment. Neither neuroevolution nor machine learning are very popular in the web browser environment. The problem lies in performance, the monotony of languages, and other factors. The literature review will bring a solution design that enables efficient development of neuroevolutionary algorithms in a web browser environment. To this end, technologies such as WebAssembly and Web Workers will be primarily utilized. The resulting library enables developers to efficiently develop new neuroevolution algorithms. The library also has a simple engine available, in which developers can implement their own environmental models without having to worry about running in the JavaScript/web browser environment. Within the library, two algorithms (NEAT and HyperNEAT) and two environments in the form of simple games are also implemented. The implementation of the library was tested on these environments, thereby demonstrating its functionality and data on the speed of convergence. The library is conceived as an open-source project with a quality structure and documentation, allowing it to be further expanded and improved.