Algoritmy výpočtu nejlepší odpovědi ve stochastických hrách s neúplnou informací

Abstract

Řešení částečně pozorovatelných, stochastických her (POSG) je výpočetně náročné, proto se výzkum soustředí na poddruhy POSG. Jednostranné POSG jsou hry pro dva hráče, jeden má perfektní informaci o hře, ale druhý ne. Algoritmus PG-HSVI byl vytvořen pro řešení těchto her, ale má pouze omezenou škálovatelnost. Je možné použít lépe škálovatelné algoritmy, ale ty negarantují konvergenci. Pro porovnávání vypočtených strategií může být použit škálovatelný algoritmus pro výpočet nejlepší odpovědi. Hlavní náplní této práce je nastudovat Jednostranné POSG a algoritmy pro jejich řešení, formulovat hledání nejlepší odpovědi na strategii jako Částečně pozorovatelný markovský rozhodovací proces (POMDP), vybrat vhodný algoritmus pro řešení POMDP, experimentálně ověřit škálovatelnost tohoto algoritmy, identifikovat překážky a navrhnout případné vylepšení formulace a algoritmy pro lepší škálovatelnost.

Solving Partially Observable Stochastic games (POSG) is computationally hard in general, therefore the research is focused on variants of POSGs. One-Sided POSGs are played by two players, where one has perfect information about the game and the second does not. The algorithm called PG-HSVI has been developed for these games, but it has a limited scalability. More scalable algorithms may be used, but they might not have convergence guarantees. To compare these computed strategies, a scalable best response algorithm may be used. The main goal of this work is to study One-Sided POSGs and their algorithms, formulate the best response of strategies as the problem of solving Partially Observable Markov Decision Process (POMDP), select appropriate solver to solve POMDP, experimentally evaluate the scalability, identify bottlenecks, and propose possible improvements to formulation/algorithm to improve scalability.