Efektivní MDP algoritmy v knihovně POMDPs.jl

Abstract

Markovovy rozhodovací procesy jsou jednou z nejznámějších metod používaných pro modelování a řešení stochastických problémů plánování. Donedávna se problémy složené z maximálně desítek stavů řešily v řádu minut. S rozvojem výpočetních prostředků a specializovaných algoritmů je snadnější řešit problémy větší než kdy dříve. Takové problémy navíc často obsahují časové rozpětí omezující počet akcí, které můžeme provést. V této práci zkoumáme a implementujeme metody pro řešení MDP a POMDP v rámci frameworku POMDPs.jl implementovaného v jazyce Julia. Algoritmy a rozhraní, které jsme implementovali, jsou integrovatelné a interoperabilní s ostatními nástroji, které framework poskytuje. Nakonec vyhodnocujeme výkonnost našich specializovaných metod oproti obecným benchmarkům na nových a z literatury převzatých testovacích případech, abychom ukázali zlepšení výkonnosti.

Markov Decision Processes are one of the most well-known methods used for modeling and solving stochastic planning problems. Until recently, the problems solved in minutes consisted of tens of states at most. With the development of computing resources and specialized algorithms, it is easier to solve problems greater than ever. Moreover, such problems often include time-span limiting the number of actions we can execute. In this thesis, we survey and implement methods for solving MDPs and POMDPs within the Julia POMDPs.jl framework. The algorithms and interfaces we have implemented integrate with and are interoperable with the rest of the tools provided by the framework. In the end, we evaluate the performance of our specialized methods against general benchmarks on both new and literature test-cases to showcase the performance improvements.