Hluboké posilované učení ve složitých strukturovaných prostředích

Abstract

Vytváření obecných agentů schopných naučit se užitečné rozhodovací strategie v prostředích reálného světa je obtížný úkol. Posilované učení je oblast, která se snaží tento problém vyřešit. Poskytuje obecný, rigorózně definovaný framework, ve kterém lze navrhovat algoritmy pro řešení problémů. Komplexní prostředí reálného světa mívají strukturu, které lze využít. Lidé jsou v tomto ohledu vyjímečně schopní. Protože různá prostředí mívají různou strukturu, vytváření agentů schopných tuto strukturu objevit a využít jí, bez předchozích znalostí o daném prostředí, je stále nevyřešený problém posilovaného učení. Hierarchické posilované učení je podobor, který se zabývá nalezením a využitím hierarchické struktury prostředí. V této práci implementujeme a studujeme dvě metody hierarchického posilovaného učení, Strategic Attentive Writer a FeUdal Networks. Představíme modifikaci modelu FeUdal Networks a ukážeme, že funguje lépe, než původní model v komplexním prostředí, navrženém na míru pro testování hierarchických agentů.

Creating general agents capable of learning useful policies in real-world environments is a difficult task. Reinforcement learning is the field that aims to solve this problem. It provides a general, rigorously defined framework within which algorithms can be designed to solve various problems. Complex real-world environments tend to have a structure that can be exploited. Humans are extremely proficient at this. Because the structure can vary dramatically between environments, creating agents capable of discovering and exploiting such structure without prior knowledge about the environment is a long-standing and unsolved problem in reinforcement learning. Hierarchical reinforcement learning is a sub-field focused specifically on finding and exploiting a hierarchical structure in the environment. In this work, we implement and study two hierarchical reinforcement learning methods, Strategic Attentive Writer and FeUdal Networks. We propose a modification of the FeUdal Networks model and show that it performs better than the original model on a complex, customly designed environment.