Aktivní adaptivní algoritmická kvantifikace preferencí

Abstract

Tato diplomová práce se zabývá dynamickým rozhodováním za použití plně pravděpodobnostního návrhu. Tento návrh modeluje uzavřenou rozhodovací smyčku splňující agentovy preference pomocí \textit{ideální distribuce chování}, která přiřazuje vysoké hodnoty pravděpodobnosti preferovanému chování a malé hodnoty pravděpodobnosti nežádoucímu chování. Následně nalezne optimální rozhodovací politika pomocí minimalizace Kullback-Leiblerovy divergence reálné distribuce chování a ideální distribuce chování. Optimální politika pak vybere v každém kroku, při pozorovaném stavu, uzavřené smyčky, takovou akci, díky které se systém s nejvyšší pravděpodobností posune do preferovaného stavu. V této práci se také zabýváme možností přidání vyvážené preference na volbu akcí. Kromě výše zmíněného se zabýváme zpětnou vazbou agenta na vývoj rozhodování. Agent známkuje známkami od 1 do 5 jako ve škole, jak se mu posloupnost stavů a akcí líbí. Přidáváme optimalizační vrstvu, která nastavuje vrstvu základní tak, aby bylo co nejvíce vyhověno agentovým preferencím vyjádřenými známkami.

This thesis studies optimal decision making with the focus on preferences quantified for fully probabilistic design (FPD). FPD introduces the so-called \textit{ideal behaviour distribution}, which has high probability values of preferred behaviour and low probability values of inappropriate behaviours. By minimizing the Kullback-Leibler divergence of the real behaviour distribution and the ideal behaviour distribution an optimal decision policy is found. The policy in every time epoch and for the observed closed-loop state selects the action, thanks to which the system transits to the preferred state with the highest probability.This research also studies preferences targeting actions as well as contradicting preferences. In addition to the above, we deal with the agent's feedback to decision-making. The agent grades the achieved behaviour by marks from 1 to 5 as in school, as he likes the sequence of states and actions. We are adding an optimization closed-loop that tunes the basic closed-loop to meet the agent's preferences expressed by marks as much as possible.