Efektivita variant algoritmu minimalizace fiktivní lítosti v různých doménách

Abstract

Algoritmy, které jsou kompetitivně schopné hrát proti lidem populární hry, byly v pozornosti výzkumu v oboru umělé inteligence od počátku. Jako reprezentant her s neúplnou informací byl i dvouhráčový poker. Výzkum algoritmů řešící hry s neúplnou informací dal vzniknout skupině algoritmů minimalizující fiktivní lítost (CFR). V posledních letech vznikla řada CFR variant. Jejich autoři dokazují důležitost jejich varianty převážně na empirických experimentech rychlosti konvergence k aproximovanému Nashovu equilibriu. Hra, na které porovnávali svoje algoritmy, byl převážně právě poker. Tato práce se zjišťuje, zda svoje výsledky obhájí na více hrách. Implementujeme nejpopulárnější publikované CFR varianty CFR, CFR+, LCFR a DCFR. Měříme jejich rychlost konvergence na různých parametrech her Goofspiel, Liar's Dice, Oshi-Zumo a Darkchess. Zjistili jsme, že autoři původně provedených experimentů pouze na pokeru příliš nezkreslili svoje závěry, nicméně některé tvrzení byli příliš optimistické. Ukazujeme, starší CFR+ má v některých hrách rychlejší konvergenci než novější DCFR, nebo že DCFR(1.5, 0.5, 0) není vždy nejlepší varianta, jak tvrdí autor.

Since the beginning, algorithms that could competitively play against people's popular games have been on the research's focus in the artificial intelligence field. Two-player poker is one of them as a representative of imperfect-information games. The research on algorithms solving two-player imperfect-information games had given birth to a group of algorithms based on counterfactual regret minimization (CFR). Their authors had been proving the importance of their CFR variant mainly by empirical speed of convergence experiments to approximate Nash equilibria. The games, which they use for experiments, were variants of poker. This thesis is examining if the results of previous uphold to diverse domains. We implemented the most popular published CFR variants Vanilla CFR, CFR+, LCFR, and DCFR. We measured their convergence speed on the different parametrization of Goofspiel, Liar's Dice, Oshi-Zumo, and Darkchess. We found out that the authors of these CFR variants did not skew their results using mostly poker domains. However, some of their statements were too optimistic. We showed older CFR+ with a different weighting of average strategy can better results than newer DCFR. DCFR(1.5, 0.5, 2.0) is not universally the best CFR variant.