Využití rychlé aproximace funkcí v heuristickém algoritmu iterace hodnot
Using Fast Upper-Bound Approximation in Heuristic Search Value Iteration
dc.contributor.advisor | Bošanský Branislav | |
dc.contributor.author | Jakub Brož | |
dc.date.accessioned | 2021-06-07T22:51:37Z | |
dc.date.available | 2021-06-07T22:51:37Z | |
dc.date.issued | 2021-06-07 | |
dc.identifier | KOS-958759639705 | |
dc.identifier.uri | http://hdl.handle.net/10467/94666 | |
dc.description.abstract | Řada bezpečnostních problémů, jako jsou pronásledovací hry nebo hlídkovací hry, lze modelovat jako jednostranné, částečně pozorovatelné stochastické hry (OS-POSG). V těchto problémech proti sobě soupeří dvě strany, ale pouze jedna ze stran má úplnou informaci o současném stavu. Vzhledem k podobnostem s částečně pozorovatelnými Markovovými rozhodovacími procesy (POMDP) lze k řešení těchto problémů použít modifikaci heuristického algoritmu iterace hodnot (HSVI). HSVI pro OS-POSG bohužel špatně škáluje, a proto není použitelný na větší problémy. Hlavní překážkou algoritmu HSVI pro OS-POSGs je časté využívání lineárních programů, které zpomaluje výpočet. Poskytujeme řešení tohoto problému s rychlostí ve formě dvou modifikací. První modifikace nahrazuje výpočet horní meze hodnotové funkce metodou, která využívá neuronové sítě k aproximaci skutečné hodnoty horní meze. Naším druhým příspěvkem je nahrazení přesného řešení Nashovy rovnováhy v jednotlivých fázích pomocí omezeně racionální rovnováhy kvantových odpovědí (QRE). Použití QRE umožňuje zakomponovat přibližnou metodu pro horní mez do původního algoritmu. | cze |
dc.description.abstract | Many security problems, such as pursuit-evasion games or patrolling games, can be modeled as one-sided partially observable stochastic games (OS-POSGs). In these problems, two sides compete against each other, although only one side has full information about the current state. Due to the similarities with partially observable Markov decision processes (POMDPs), a modification of the heuristic search value iteration (HSVI) algorithm can be used to solve these kinds of problems. However, the HSVI for OS-POSGs unfortunately does not scale well and therefore is not applicable to larger problems. The main bottleneck of the HSVI for OS-POSGs algorithm is the frequent usage of linear programs that slow down the computation. We provide a solution to this performance issue in the form of two modifications. The first modification replaces the computation of the upper bound value function by a method that utilizes neural networks to approximate the true value of the upper bound. Our second contribution is the replacement of the exact Nash equilibrium stage game solution with a bounded-rational quantal response equilibrium (QRE). The usage of QRE allows the incorporation of the approximative upper bound method into the original algorithm. | eng |
dc.publisher | České vysoké učení technické v Praze. Vypočetní a informační centrum. | cze |
dc.publisher | Czech Technical University in Prague. Computing and Information Centre. | eng |
dc.rights | A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html | eng |
dc.rights | Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html | cze |
dc.subject | teorie her | cze |
dc.subject | částečně pozorovatelné stochastické hry | cze |
dc.subject | jednostranná informace | cze |
dc.subject | heuristický algoritmus iterace hodnot | cze |
dc.subject | neuronové sítě | cze |
dc.subject | rovnováha kvantových odpovědí | cze |
dc.subject | aproximace | cze |
dc.subject | game theory | eng |
dc.subject | partially observable stochastic games | eng |
dc.subject | one-sided information | eng |
dc.subject | heuristic search value iteration | eng |
dc.subject | neural networks | eng |
dc.subject | quantal response equilibrium | eng |
dc.subject | approximation | eng |
dc.title | Využití rychlé aproximace funkcí v heuristickém algoritmu iterace hodnot | cze |
dc.title | Using Fast Upper-Bound Approximation in Heuristic Search Value Iteration | eng |
dc.type | bakalářská práce | cze |
dc.type | bachelor thesis | eng |
dc.contributor.referee | Schaefer Martin | |
theses.degree.discipline | Základy umělé inteligence a počítačových věd | cze |
theses.degree.grantor | katedra kybernetiky | cze |
theses.degree.programme | Otevřená informatika | cze |
Soubory tohoto záznamu
Tento záznam se objevuje v následujících kolekcích
-
Bakalářské práce - 13133 [778]