Algoritmy pro hraní zjednodušeného Pokeru s vícero hráči

Abstract

Poker je populární doména v teorii her a je využíván jako příklad sekvenční konečné hry, kde hráči nesdílejí všechny informace. V této práci používáme zjednodušené varianty tříhráčového pokeru k porovnání a analýze různých přístupů pro výpočet strategií. Zabýváme se Counterfactual Regret minimization algoritmem, což je populární algoritmus pro počítačové hráče pro tříhráčový poker. Strategie z CFR algoritmu porovnáváme se strategiemi vypočítaných podle konceptu MaxMin strategie a strategií podle Stackelbergova equilibria. Strategie pro Kuhn Poker a Leduc Hold'em porovnáváme na základě turnajů. Ukázali jsme, že výpočet globálně optimální strategie dle Stackelbergova equilibria je složitá úloha i pro malou doménu jakou je Kuhn Poker. Dále jsme představili způsob jak vypočítat MaxMin strategii za použití CFR algoritmu. V turnajích se nejlépe umístila pesimistická MaxMin strategie, která se zároveň zdá nejvíce robustní strategií. O druhé místo se dělí strategie dle Stackelbergova equilibria a CFR strategie, kde různé přístupy dosáhly podobného průměrného zisku. Během experimentů se projevila důležitost pozice kolem pokerového stolu a také význam uspořádání hráčů.

Poker is a popular scenario of the game theory, and it is used as the example of sequential finite games, where players do not share the same information. In this thesis, we use smaller poker variants with three players to compare and examine different approaches to computing strategies. We study a strategy computed by Counterfactual Regret minimization algorithm, which is a very popular algorithm for three-player computer poker players, in comparison with strategies computed by the concepts of MaxMin strategy and Stackelberg equilibrium. We use a tournament based methods to compare and examine computed strategies for Kuhn Poker and Leduc Hold'em. We have shown, it is a hard task to find global optima for Stackelberg equilibrium, even the three-player Kuhn Poker. We present a way to compute MaxMin strategy with the CFR algorithm. The tournaments suggest the pessimistic MaxMin strategy is the best performing and the most robust strategy. There is a tie for the second place between Stackelberg equilibrium strategy and CFR strategy, where different approaches lead to similar total average payoffs. The experiments also revealed the importance of different positions around the poker table and significance of ordering of players.