Proveditelná bayesovská optimalizace vícerukého bandity

Abstract

V této bakalářské práci se zabývám optimalizací rozhodovací strategie u procesů, které se označují jako diskrétní markovské rozhodovací procesy. Optimální strategie je dosaženo pomocí dynamického programování, přičemž pro model s neznámými parametry je k odhadům parametrů užito principů bayesovské statistiky. Práce se zabývá studiem rozvažovacího úsilí v modelu vícerukého bandity, přičemž naráží i na známý problém poznávání versus využití. Práce dále řeší exponenciální složitost algoritmu pro zisk optimální strategie pro proces s neznámými parametry metodou "m-krokové aproximace". Experimenty ukazují, že průměrnou střední hodnotu celkové odměny lze, při únosném nárůstu složitosti, vylepšit o jednotky procent.

This bachelor’s thesis studies the optimal policy for processes that can be described as discrete Markov decision processes. The optimal strategy is obtained through the dynamic programming, while for the processes with unknown parameters the Bayesian statistics is used in addition. This work studies the role of deliberation eort in the multi-armed bandit optimisation problem and also tries to challenge the exploration vs exploitation problem. It copes with the problem of exponential complexity of the algorithm via a theory of "certainty equivalence" and "m-Step approximation". The experiments show that the expected reward can be increased by several percent, while sustaining reasonable requirements on the computing power.