Použití iterativního double-oracle algoritmu pro řešení zjednodušené varianty pokru

Abstract

Poker je jednou z populárních domén teorie her, která se často ve zjednodušené formě využívá pro porovnávání a evaluaci algoritmů. V této práci používáme sequence-form double-oracle algoritmus, což je obecný iterativní algoritmus hledající řešení pro extenzivní hry s nulovým součtem. Intuice algoritmu je následující: nejprve se vytvoří omezená hra, kde hráči mají omezené akce, které mohou zahrát. Najde se řešení této omezené hry a následně se rozšíří o nové akce odpovídající nejlepší možné strategii. Rychlost obecného double oraclu není pro Poker ideální. Metody obecného algoritmu jdou nahradit metodami využívající vlastnosti dané domény. Proto je cílem této práce (1) prozkoumat možnosti kompaktnější reprezentace hry Pokru, (2) prozkoumat různé možnosti pro výběr akcí, které rozšíří omezenou hru a (3) experimentálně porovnat navržené metody vzhledem k obecnému double oracle.

Poker is one of the popular domains of game theory and it is used (in a simplified form) as a benchmark domain for comparing the algorithms for solving finite sequential games. In this thesis, we use sequence-form double-oracle algorithm, iterative approach for finding an exact Nash equilibirum for extensive-form zero-sum games. Intiution behind this agorithm is the following: firstly, it creates a game with restricted possible sequences of actions for players. Secondly, it solves this restricted game, and finally, it finds the best response against the solution of restricted game and expands the restricted game by the best-response sequences. In poker performance of domain-independent double oracle is not good. But the methods of the general algorithm can be replaced by domain-specific methods. Therefore, the goal of this thesis is (1) explore possible compact representation of Poker, (2) explore different methods for selecting actions to expand the restricted game, (3) experimentally compare proposed methods with general double oracle.