Učení se strategií ve stochastických hrách s nulovým součtem

Abstract

Dvouhráčové nekonečné stochastické hry s nulovým součtem a ohodnocením v koncových stavech jsou důležitým typem her s velkým počtem aplikací, ale jedná se o méně studovanou třídu her. Z tohoto důvodu neexistuje mnoho praktických algoritmů pro jejich řešení. Standardní algoritmy používají iteraci hodnot nebo strategií, ovšem tyto algoritmy mohou v nejhorším případě potřebovat až dvojitě exponenciální počet iterací. Proto hledáme algoritmy s lepší složitostí, nebo alespoň metody vylepšení stávajících algoritmů. První část práce vysvětluje základní pojmy teorie her se zaměřením na řešení her. Následně jsou popsány stochastické hry a standardní postupy při jejich řešení. Abychom mohli aplikovat postupy používané při řešení konečných sekvenčních her, zavádíme pojem serializace stochastických her. Poskytneme algoritmus pro řešení stochastických her založený na kombinaci prvotního odhadu hodnot s hodnotovou iterací. Nakonec provedeme experimentální porovnání nových algoritmů s existujícím algoritmem hodnotové iterace na sadě konkrétních her.

Two-player zero-sum stochastic games with utilities in terminal nodes is an important class of games with many applications, but one that has not been studied in great depth. As such, there are not many practical algorithms for solving this class of games. The two standard algorithms are value iteration and strategy iteration. However, these algorithms have doubly exponential worst case complexity in number of iterations. Therefore, we are searching for algorithms with lower complexity or methods of improving existing algorithms' performance. First, we explain the most essential basics of game theory with focus on solving games. Then, we describe stochastic games and the standard approaches to solving them. To be able to apply algorithms used in finite sequential games, we introduce the concept of serialization of stochastic games into finite sequential games. We present an algorithm for solving stochastic games based on value estimation combined with value iteration. Lastly, we experimentally compare performance of novel algorithms to the existing value iteration algorithm on a collection of example games.