Reducing Variance in Monte Carlo Counterfactual Regret Minimization

Abstract

Práce se zaměřuje na redukci variance v Monte Carlo CFR algoritmech v hrách s neúplnou informací. Po představení základního názvosloví a základních konceptů z teorie her jsou rozebrány nedávné úspěchy v redukci variance v MCCFR algoritmech jako je AIVAT, Generalized Sampling a VR-MCCFR. V rámci práce je navrhnut nový algoritmus pro redukci variance MCCFR za použití baselines a control variates založený na VR-MCCFR přístupu. Na konec je experimentálně ověřena funkčnost navrženého algoritmu.

This thesis focused on variance reduction of Monte Carlo CFR algorithm in game with incomplete information. After introduction basic game theoretic terminology and theoretical concepts there are analyzed recent achievement in variance reduction of MCCFR algorithms like AIVAT, Generalized Sampling and VR-MCCFR. Within this work is proposed novel algorithm for variance reduction with usage of baselines and control variates based on VR-MCCFR approach. Finally the functionality of proposed algorithm is experimentally verified.