Hluboké posilované učení ve složitých strukturovaných prostředích
Deep reinforcement learning in complex structured environments
Typ dokumentu
diplomová prácemaster thesis
Autor
Volný Adam
Vedoucí práce
Lisý Viliam
Oponent práce
Drchal Jan
Studijní obor
Umělá inteligenceStudijní program
Otevřená informatikaInstituce přidělující hodnost
katedra počítačůPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Vytváření obecných agentů schopných naučit se užitečné rozhodovací strategie v prostředích reálného světa je obtížný úkol. Posilované učení je oblast, která se snaží tento problém vyřešit. Poskytuje obecný, rigorózně definovaný framework, ve kterém lze navrhovat algoritmy pro řešení problémů. Komplexní prostředí reálného světa mívají strukturu, které lze využít. Lidé jsou v tomto ohledu vyjímečně schopní. Protože různá prostředí mívají různou strukturu, vytváření agentů schopných tuto strukturu objevit a využít jí, bez předchozích znalostí o daném prostředí, je stále nevyřešený problém posilovaného učení. Hierarchické posilované učení je podobor, který se zabývá nalezením a využitím hierarchické struktury prostředí. V této práci implementujeme a studujeme dvě metody hierarchického posilovaného učení, Strategic Attentive Writer a FeUdal Networks. Představíme modifikaci modelu FeUdal Networks a ukážeme, že funguje lépe, než původní model v komplexním prostředí, navrženém na míru pro testování hierarchických agentů. Creating general agents capable of learning useful policies in real-world environments is a difficult task. Reinforcement learning is the field that aims to solve this problem. It provides a general, rigorously defined framework within which algorithms can be designed to solve various problems. Complex real-world environments tend to have a structure that can be exploited. Humans are extremely proficient at this. Because the structure can vary dramatically between environments, creating agents capable of discovering and exploiting such structure without prior knowledge about the environment is a long-standing and unsolved problem in reinforcement learning. Hierarchical reinforcement learning is a sub-field focused specifically on finding and exploiting a hierarchical structure in the environment. In this work, we implement and study two hierarchical reinforcement learning methods, Strategic Attentive Writer and FeUdal Networks. We propose a modification of the FeUdal Networks model and show that it performs better than the original model on a complex, customly designed environment.
Kolekce
- Diplomové práce - 13136 [833]