Spojení online učení a výpočtu rovnováhy v bezpečnostních hrách

Abstract

V současné době je v mnoha bezpečnostních odvětvích velká poptávka po vyvíjení efektivních přístupů, které používají teorii her. Nové algoritmy jsou modelovány v konceptu zvaném Stackelbergova bezpečnostní hra. V této práci se zabýváme Stackelbergovou bezpečnostní hrou se dvěma nespolupracujícími hráči inspirovanou problémem střežení hranic. Je známo několik přístupů, jak řešit takovýto herní model. Napřed se zaměřujeme na online učící algoritmy, které jsou používané v dobře známém problému mnohorukého bandity (multi- armed bandit problem - MAB). Prozkoumáme použití několika online učících algoritmů a jejich aplikaci do bezpečnostních her. Poté se zaměřujeme na herně teoretický přístup formou výpočtu herní rovnováhy. Oba přístupy online učících algoritmů a herně teoretického řešení mají v reálných aplikacích svá omezení. Online učící algoritmus má velmi špatný výsledek na začátku hry kvůli tomu, že nemá žádnou informaci o oponentově strategii. Herně-teoretické řešení se neumí přizpůsobit měnícímu se oponentovi. Tudíž navrhneme kombinované algoritmy založené na těchto dvou přístupech, které řeší zmíněné omezení. Empiricky testujeme navržené algoritmy v několika herních nastaveních a ukážeme jejich výhody jako stabilita či schopnost přizpůsobit se. Tento hlavní přínos kombinovaných algoritmů vylepšuje výsledek obránce, a tudíž mu umožňuje efektivněji rozdělit své zdroje v navrženém herním modelu.

In the security domain there has recently been a big demand in developing effective approaches using game-theory tools. New algorithms are modeled in the framework known as Stackelberg security game. In this thesis, we study a two-player non-cooperative Stackelberg security game model inspired by application to border patrol. There are several known approaches to handle this game scenario. We firstly focus on online learning algorithms used in the well- known multi-armed bandit (MAB) problem. We investigate use of several online learning algorithms and their applications to security games. Then we focus on a game-theoretic approach by studying equilibria concepts. Both approaches, online learning algorithm and game-theoretic solution, have some limitations in real-world applications. The online learning algorithm has a very poor performance at the beginning of the game due to having no prior information about the opponent's strategy, while the game-theoretic strategy is not able to adapt to varying opponents. Therefore we present new combined algorithms, based on those two approaches, which address these limitations. We empirically test the proposed combined algorithms and show their advantages such as stability or adaptability under various game settings. The main contribution of the combined algorithms strategy is that it improves defender performance and thus is more effective in resource allocation in the proposed game model than previous approaches.