Reducing Variance in Monte Carlo Counterfactual Regret Minimization

Pavel Kuchař

Typ dokumentu

diplomová práce
master thesis

Autor

Pavel Kuchař

Vedoucí práce

Lisý Viliam

Oponent práce

Bošanský Branislav

Studijní obor

Umělá inteligence

Studijní program

Otevřená informatika

Instituce přidělující hodnost

katedra počítačů

Práva

A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html
Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html

Metadata

Zobrazit celý záznam

Abstrakt

Práce se zaměřuje na redukci variance v Monte Carlo CFR algoritmech v hrách s neúplnou informací. Po představení základního názvosloví a základních konceptů z teorie her jsou rozebrány nedávné úspěchy v redukci variance v MCCFR algoritmech jako je AIVAT, Generalized Sampling a VR-MCCFR. V rámci práce je navrhnut nový algoritmus pro redukci variance MCCFR za použití baselines a control variates založený na VR-MCCFR přístupu. Na konec je experimentálně ověřena funkčnost navrženého algoritmu.

This thesis focused on variance reduction of Monte Carlo CFR algorithm in game with incomplete information. After introduction basic game theoretic terminology and theoretical concepts there are analyzed recent achievement in variance reduction of MCCFR algorithms like AIVAT, Generalized Sampling and VR-MCCFR. Within this work is proposed novel algorithm for variance reduction with usage of baselines and control variates based on VR-MCCFR approach. Finally the functionality of proposed algorithm is experimentally verified.