Řešení her v extensivní formě pomocí imperfect recall abstrakci

Abstract

Hry v extenzivní formě jsou důležitým modelem konečné sekvenční interakce hráčů. Extenzivní reprezentace her je však často příliš velká, což je hlavním důvodem zamezujícím aplikaci herně teoretických konceptů řešení do situací z reálného světa. Nejúspěšnější přístup řešící tento problém je metodologie informačních abstrakcí. Informační abstrakce zmenšují velikost původní extenzivní hry odebíráním informací, které mají hráči k dispozici. To vede ke sjednocování informačních setů tvořících jejich body rozhodnutí. Jelikož hráči musejí hrát identickou strategii ve sjednocených informačních setech, velikost strategie v abstrahované hře může být výrazně menší než v původní hře. Tato abstrahovaná hra je vyřešena a malé strategie získané jejím řešením jsou aplikovány do původní hry. Většina existujících přístupů využívající informační abstrakce vytváří abstrahovanou hru, kde si hráči pamatují všechny své tahy a veškeré informace, které během hry získali -- vlastnost nazvaná perfect recall. Pamatování si všech akcí však způsobuje exponenciální růst počtu bodů rozhodnutí (a tedy i velikosti strategie) vzhledem k počtu těchto akcí. V této práci se zaměřujeme na imperfect recall informační abstrakce, které umožňují hráčům zapomínat. Tyto abstrakce mají tedy potenciál vést k exponenciálně menším abstrahovaným hrám. V této práci poskytujeme následující tři hlavní kontribuce k řešení her v extenzivní formě. Zaprvé poskytujeme ucelený popis složitosti řešení imperfect recall informačních abstrakcí. Zadruhé představujeme první třídu doménově nezávislých algoritmů schopných aproximovat strategie s nejvyšší očekávanou hodnotou v nejhorším případě v imperfect recall informačních abstrakcích. Zatřetí představujeme dva doménově nezávislé algoritmy, které mohou být inicializovány jakoukoliv imperfect recall abstrakcí řešené hry v extenzivní formě. Tyto algoritmy současně řeší a zlepšují danou abstrakci, dokud není dosaženo garantované konvergence k požadované aproximaci Nashova ekvilibria původní hry. Na závěr experimentálně demonstrujeme, že naše algoritmy využívající imperfect recall informační abstrakce používají mnohem méně paměti na vyřešení obrovských her v extenzivní formě oproti paměti používané současnými nejúspěšnějšími algoritmy pro řešení extenzivních her. Z toho plyne, že námi představené algoritmy umožňují zásadní zvýšení škálovatelnosti řešení extenzivních her.

Extensive-form games are an important model of finite sequential interaction between players. The size of the extensive-form representation is, however, often prohibitive and it is the most common cause preventing deployment of game-theoretic solution concepts to real-world scenarios. The state-of-the-art approach to solve this issue is the information abstraction methodology. The information abstraction reduces the size of the original large extensive-form game by removing information available to players; hence merging the information sets which from their decision points.