Algoritmy výpočtu nejlepší odpovědi ve stochastických hrách s neúplnou informací
Best response computation for partially observable stochastic games
Typ dokumentu
bakalářská prácebachelor thesis
Autor
Ondřej Kubíček
Vedoucí práce
Bošanský Branislav
Oponent práce
Kuželka Ondřej
Studijní program
Kybernetika a robotikaInstituce přidělující hodnost
katedra řídicí technikyPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Řešení částečně pozorovatelných, stochastických her (POSG) je výpočetně náročné, proto se výzkum soustředí na poddruhy POSG. Jednostranné POSG jsou hry pro dva hráče, jeden má perfektní informaci o hře, ale druhý ne. Algoritmus PG-HSVI byl vytvořen pro řešení těchto her, ale má pouze omezenou škálovatelnost. Je možné použít lépe škálovatelné algoritmy, ale ty negarantují konvergenci. Pro porovnávání vypočtených strategií může být použit škálovatelný algoritmus pro výpočet nejlepší odpovědi. Hlavní náplní této práce je nastudovat Jednostranné POSG a algoritmy pro jejich řešení, formulovat hledání nejlepší odpovědi na strategii jako Částečně pozorovatelný markovský rozhodovací proces (POMDP), vybrat vhodný algoritmus pro řešení POMDP, experimentálně ověřit škálovatelnost tohoto algoritmy, identifikovat překážky a navrhnout případné vylepšení formulace a algoritmy pro lepší škálovatelnost. Solving Partially Observable Stochastic games (POSG) is computationally hard in general, therefore the research is focused on variants of POSGs. One-Sided POSGs are played by two players, where one has perfect information about the game and the second does not. The algorithm called PG-HSVI has been developed for these games, but it has a limited scalability. More scalable algorithms may be used, but they might not have convergence guarantees. To compare these computed strategies, a scalable best response algorithm may be used. The main goal of this work is to study One-Sided POSGs and their algorithms, formulate the best response of strategies as the problem of solving Partially Observable Markov Decision Process (POMDP), select appropriate solver to solve POMDP, experimentally evaluate the scalability, identify bottlenecks, and propose possible improvements to formulation/algorithm to improve scalability.
Kolekce
- Bakalářské práce - 13135 [476]