ČVUT DSpace
  • Search DSpace
  • Čeština
  • Login
  • Čeština
  • Čeština
View Item 
  •   ČVUT DSpace
  • Czech Technical University in Prague
  • Faculty of Electrical Engineering
  • Department of Computer Science and Engineering
  • Master Theses - 13136
  • View Item
  • Czech Technical University in Prague
  • Faculty of Electrical Engineering
  • Department of Computer Science and Engineering
  • Master Theses - 13136
  • View Item
JavaScript is disabled for your browser. Some features of this site may not work without it.

Hybridní neuroevoluce

Hybrid neuroevolution

Type of document
diplomová práce
master thesis
Author
Kateřina Brejchová
Supervisor
Kubalík Jiří
Opponent
Pošík Petr
Field of study
Umělá inteligence
Study program
Otevřená informatika
Institutions assigning rank
katedra počítačů



Rights
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html
Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Show full item record
Abstract
Neuroevoluce je metoda trénování neuronových sítí pomocí evolučních algoritmů. Evoluční algoritmus může vyvíjet jak topologii sítě, tak i váhy a práhy. Zatímco evoluční metody zvládají dobře exploraci prostoru, dělá jim problém lokální dolazení řešení. Tato práce navrhuje hybridizovaný přístup kombinující neuroevoluční algoritmus HyperNEAT s gradientním algoritmem DQN. Nejprve navrhujeme tři různé způsoby inicializace DQN pomocí řešení z HyperNEATu. Poté navrhujeme metodu na dolazení populace HyperNEATu pomocí řešení z DQN. Nakonec kombinujeme oba navržené kroky v trénovací smyčku, která iterativně spouští sekvenci HyperNEAT a DQN. Daný přístup testujeme v doméně posilovaného učení s diskrétním prostorem akcí, jmenovitě na problémech z řízení Cart pole, Acrobot a Mountain car, které jsou definované v OpenAI gym. Docházíme k závěru, že hlavní výzvou pro kombinování obou přístupů je odlišná interpretovatelnost jejich výstupů. Uvádíme i inicializační strategie, které nezafungovaly a diskutujeme možné příčiny. Prezentujeme slibné výsledky navrženého postupu.
 
Neuroevolution is an approach for learning artificial neural networks by an evolutionary algorithm. The evolutionary algorithm can evolve both the topology of the network as well as weights and biases. While evolutionary algorithms perform well in exploration, local fine-tuning can be problematic. This thesis proposes a hybrid approach that combines the neuroevolutionary algorithm HyperNEAT with gradient-based algorithm DQN. Firstly, we propose three different options for initialising DQN by a solution found by HyperNEAT. Secondly, we propose a method for fine-tuning HyperNEAT's population by a solution found by DQN. Finally, we combine the two proposed steps into a training loop that iteratively runs the sequence of HyperNEAT and DQN. We test the approach in a reinforcement learning control domain with discrete action space, namely Cart pole, Acrobot and Mountain car environments from OpenAI gym. We conclude that the main challenge in combining the two algorithms is the different interpretability of their outputs. We describe the initialisation strategies that did not work and discuss the possible reasoning behind it. We show promising results for both the DQN and the HyperNEAT initialisation.
 
URI
http://hdl.handle.net/10467/95454
View/Open
PLNY_TEXT (1.990Mb)
PRILOHA (116.3Kb)
POSUDEK (217.9Kb)
POSUDEK (214.5Kb)
Collections
  • Diplomové práce - 13136 [966]

České vysoké učení technické v Praze copyright © 2016 

DSpace software copyright © 2002-2016  Duraspace

Contact Us | Send Feedback
Theme by 
@mire NV
 

 

Useful links

CTU in PragueCentral library of CTUAbout CTU Digital LibraryResourcesStudy and library skillsResearch support

Browse

All of DSpaceCommunities & CollectionsBy Issue DateAuthorsTitlesSubjectsThis CollectionBy Issue DateAuthorsTitlesSubjects

My Account

Login

České vysoké učení technické v Praze copyright © 2016 

DSpace software copyright © 2002-2016  Duraspace

Contact Us | Send Feedback
Theme by 
@mire NV