Metody Monte-Carlo pro stromové prohledávání v knihovně POMDPs.jl

Šárka Pšeničková

Monte-Carlo Tree Search Algorithms in POMDPs.jl

Typ dokumentu

bakalářská práce
bachelor thesis

Autor

Šárka Pšeničková

Vedoucí práce

Mrkos Jan

Oponent práce

Cahyna Pavel

Studijní obor

Základy umělé inteligence a počítačových věd

Studijní program

Otevřená informatika

Instituce přidělující hodnost

katedra kybernetiky

Práva

A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html
Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html

Metadata

Zobrazit celý záznam

Abstrakt

Tato bakalářská práce se zaměřuje na návrh a implementaci algoritmu Monte Carlo Tree Search (MCTS) pro řešení problémů Markovských rozhodovacích procesů (MDP) s konečným horizontem v rámci balíčku POMDPs.jl. Jejím cílem je nalézt efektivní řešení pro problémy s konečným horizontem a odstranit omezení stávajících implementací. Nejprve analyzujeme současné metody MCTS a identifikujeme přístupy vhodné pro MDP s konečným horizontem. Poté zkoumáme a vytváříme škálovatelné domény pro testování. Nakonec na vytvořených doménách porovnáváme novou implementaci s algoritmy již existujícími v balíčku.

This thesis focuses on designing and implementing a Monte Carlo Tree Search (MCTS) algorithm for solving finite-horizon Markov Decision Process (MDP) problems within the POMDPs.jl package. Its objective is to find an efficient solution for finite horizon problems and address the limitations of existing implementations. We start with analyzing current MCTS methods and identifying approaches suitable for finite-horizon MDPs. Then, we survey and develop scalable benchmarking domains. Finally, we compare the new implementation with existing algorithms in the package on the created domains.