Reducing Variance in Monte Carlo Counterfactual Regret Minimization

Pavel Kuchař

Type of document

diplomová práce
master thesis

Author

Pavel Kuchař

Supervisor

Lisý Viliam

Opponent

Bošanský Branislav

Field of study

Umělá inteligence

Study program

Otevřená informatika

Institutions assigning rank

katedra počítačů

Rights

A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html
Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html

Metadata

Show full item record

Abstract

Práce se zaměřuje na redukci variance v Monte Carlo CFR algoritmech v hrách s neúplnou informací. Po představení základního názvosloví a základních konceptů z teorie her jsou rozebrány nedávné úspěchy v redukci variance v MCCFR algoritmech jako je AIVAT, Generalized Sampling a VR-MCCFR. V rámci práce je navrhnut nový algoritmus pro redukci variance MCCFR za použití baselines a control variates založený na VR-MCCFR přístupu. Na konec je experimentálně ověřena funkčnost navrženého algoritmu.

This thesis focused on variance reduction of Monte Carlo CFR algorithm in game with incomplete information. After introduction basic game theoretic terminology and theoretical concepts there are analyzed recent achievement in variance reduction of MCCFR algorithms like AIVAT, Generalized Sampling and VR-MCCFR. Within this work is proposed novel algorithm for variance reduction with usage of baselines and control variates based on VR-MCCFR approach. Finally the functionality of proposed algorithm is experimentally verified.