Bayesovské odhadování pro adaptivní dynamické rozhodování

Abstract

V této práci vytvoříme algoritmus, který je schopen se chovat optimálně, vůči nějakému předem zadanému cíli. K tomu je třeba model systému, který je odhadnut pomocí bayesovkého odhadování, jehož hlavní výhodou je možnost aktualizace pravděpodobnostního modelu na základě nových dat. Pro řešení problému rozhodování jsme zvolili jednokrokovou iteraci hodnot stavů, která využívá odhadnutý model a poskytuje předpis pro volbu optimální akce. Navržené řešení bylo odhadnuto na simulovaných datech odrážejících problém online aukce v reálném čase.

In this thesis, we create an algorithm that is able to behave optimally in respect to a predetermined goal. This requires a system model, which is learned via bayesian estimation, whose main advantage is the possibility of updating the probabilistic model based on new data. To solve the decision-making problem, we chose one-step value iteration, which uses the learned model to provide optimal action. The proposed approach was veriťied on simulated data describing real-time bidding problem.