Využití rychlé aproximace funkcí v heuristickém algoritmu iterace hodnot

Abstract

Řada bezpečnostních problémů, jako jsou pronásledovací hry nebo hlídkovací hry, lze modelovat jako jednostranné, částečně pozorovatelné stochastické hry (OS-POSG). V těchto problémech proti sobě soupeří dvě strany, ale pouze jedna ze stran má úplnou informaci o současném stavu. Vzhledem k podobnostem s částečně pozorovatelnými Markovovými rozhodovacími procesy (POMDP) lze k řešení těchto problémů použít modifikaci heuristického algoritmu iterace hodnot (HSVI). HSVI pro OS-POSG bohužel špatně škáluje, a proto není použitelný na větší problémy. Hlavní překážkou algoritmu HSVI pro OS-POSGs je časté využívání lineárních programů, které zpomaluje výpočet. Poskytujeme řešení tohoto problému s rychlostí ve formě dvou modifikací. První modifikace nahrazuje výpočet horní meze hodnotové funkce metodou, která využívá neuronové sítě k aproximaci skutečné hodnoty horní meze. Naším druhým příspěvkem je nahrazení přesného řešení Nashovy rovnováhy v jednotlivých fázích pomocí omezeně racionální rovnováhy kvantových odpovědí (QRE). Použití QRE umožňuje zakomponovat přibližnou metodu pro horní mez do původního algoritmu.

Many security problems, such as pursuit-evasion games or patrolling games, can be modeled as one-sided partially observable stochastic games (OS-POSGs). In these problems, two sides compete against each other, although only one side has full information about the current state. Due to the similarities with partially observable Markov decision processes (POMDPs), a modification of the heuristic search value iteration (HSVI) algorithm can be used to solve these kinds of problems. However, the HSVI for OS-POSGs unfortunately does not scale well and therefore is not applicable to larger problems. The main bottleneck of the HSVI for OS-POSGs algorithm is the frequent usage of linear programs that slow down the computation. We provide a solution to this performance issue in the form of two modifications. The first modification replaces the computation of the upper bound value function by a method that utilizes neural networks to approximate the true value of the upper bound. Our second contribution is the replacement of the exact Nash equilibrium stage game solution with a bounded-rational quantal response equilibrium (QRE). The usage of QRE allows the incorporation of the approximative upper bound method into the original algorithm.