Limitations of Reinforcement Learning Algorithms in Imperfect Information Games

Abstract

Tato práce zkoumá vlastnosti algoritmů posilovaného učení aplikovaných ve hrách s neúplnou informací. Hry s neúplnou informací jsou složitější než ostatní prostředí v nichž jsou algoritmy posilovaného učení běžně využívány, a vlastnosti konvergence těchto algoritmů ve hrách s neúplnou informací nejsou známé. V práci jsme analyzovali teoretické vlastnosti dvou algoritmů posilovaného učení aplikovaných na maticové hry, a empiricky jsme vyhodnotili jejich využitelnost. Také jsme vyhodnotili empirické vlastnosti dvou algoritmů posilovaného učení aplikované na hru s neúplnou informací v extenzivní formě.

This thesis examines the properties of reinforcement learning algorithms used in games with imperfect information. The imperfect information games are more complex than other settings in which the reinforcement learning algorithms are commonly used, and the convergence properties of reinforcement learning algorithms in imperfect information games are not understood well. We examined the theoretical properties of two single-state reinforcement learning algorithms in a self-play of matrix games and evaluated their practical performance. We also evaluated the performance of two reinforcement learning algorithms in an extensive-form game with imperfect information.