Explorační strategie pro posilované učení s aproximací funkcí

Abstract

Tématem této diplomové práce jsou explorační strategie ve vysokodimenzionálních problémech posilovaného učení. Tři současné explorační strategie byly evaluovány na dvou doménách - na klasifikaci s drahými proměnnými a na problému balancování tyče na pohybujícím se vozíku. Na základě zkoumaných strategií byla navržena nová strategie nazvaná Explorace řízená nejistotou. Náš přístup kombinuje dvě metody, které umožňují použití odhadu nejistoty modelu pro řízení explorace. Všechny strategie byly porovnány se základní epsilon-greedy strategií. Navržená strategie má srovnatelné výsledky s ostatními evaluovanými přístupy.

This thesis investigates exploration strategies in high-dimensional reinforcement learning problems. Three existing exploration approaches were evaluated on two domains - the Classification with costly features task and the Cart-pole problem. Based on the researched strategies a novel method for exploration is proposed: the Uncertainty driven exploration. Our approach combines two other methods in a novel way which allows us to use model's uncertainty as a guidance for exploration. The proposed approach is evaluated together with the other three selected strategies and the baseline epsilon-greedy strategy and is shown to have competitive results.