Generování strategií pro řešení částečně pozorovatelných stochastických her

Abstract

Cílem této teze je navrhnout a naimplementovat modifikaci algoritmu PG-HSVI (který byl navrhnut k řešení částečně pozorovatelných stochastických her), která by mohla vylepšit jeho schopnost řešit větší problémy. K tomu jsme využili metody incrementálního generování strategií. Algoritmus ISG-PG-HSVI představený v této tezi začíná zjednodušením původní hry tak, že odstraní některé z dostupných akcí pro jednoho z hráčů. Poté vyřeší tuto zjednodušenou variantu hry a výsledek uloží. Následně přidá do hry zpět některé z chybějících akcí a vyřeší tuto novou hru s využitím uložených výsledků z přechozí iterace. Toto se opakuje, dokud není vyřešena celá původní hra. Dále jsme navrhli a naimplementovali heuristiku s cílem ukázat, zda záleží na tom, které akce jsou přidány do hry přednostně. Na konci předkládáme výsledky srovnání těchto algoritmů v experimentech.

The aim of this thesis is to design and implement a modification of algorithm PG-HSVI (that was designed to solve partially observable stochastic games), that might improve its ability to solve larger problems. For this we applied an incremental strategy generation method. The ISG-PG-HSVI algorithm introduced in this thesis starts with simplifying the original game by removing some of the available actions for one of the players. Then it solves this simplified variant of the game and saves the result. After that it adds some of the actions back and solves this game, while reusing the results from the previous iteration. This repeats until the original game is solved. Furthermore we designed and implemented a heuristic with the aim to show, whether it matters, which actions are added to the game beforehand. In the end we present the results of comparing these algorithms in experiments.