Show simple item record

Risk-Averse Distributional Reinforcement Learning



dc.contributor.advisorMacek Karel
dc.contributor.authorStanko Silvestr
dc.date.accessioned2018-06-09T08:09:11Z
dc.date.available2018-06-09T08:09:11Z
dc.date.issued2018-06-05
dc.identifierKOS-773337373905
dc.identifier.urihttp://hdl.handle.net/10467/76432
dc.description.abstractPodmíněná hodnota v riziku (Conditional Value-at-Risk, CVaR) je známá míra rizika používaná ve finančním sektoru po dekády. CVaR je zároveň ekvivalentní s robustností, důležitou komponentou bezpečnosti Umělé Inteligence. V této diplomové práci se soustředíme na optimalizaci CVaRu v kontextu posilovaného učení, větví strojového učení která nabývá na popularitě díky své obecnosti a potenciálu. Naším prvním originálním příspěvkem je rozšíření algoritmu Iterace užitkové funkce CVaRu (CVaR Value Iteration), využívající distribučního charakteru CVaRu. Navrhovaný způsob výpočtu snižuje výpočetní složitost algoritmu z polynomiální na lineární, což formálně dokážeme pro spojitá pravděpodobnostní rozdělení. Na základě tohoto nového způsobu výpočtu formulujeme Monte Carlo verzi Iterace užitkové funkce CVaRu, kterou nazýváme Q-učení CVaRu. Dále navrhujeme distribuční algoritmus vylepšení strategie (policy improvement), dokážeme jeho správnost a použijeme ho jako heuristiku pro extrakci optimální strategie z Q-učení CVaRu. Závěrem, abychom ukázali praktičnost a použitelnost algoritmu na velkých stavových prostorech, navrhujeme přibližnou metodu Q-učení CVaRu. Toho docílíme přeformulováním iterace Temporální Diference na ztrátovou funkci, kterou později použijeme v kontextu hlubokého učení. Všechny navržené metody jsou experimentálně ověřeny. Iterace užitkové funkce CVaRu a Q-učení CVaRu na 2D prostředí citlivém na riziko, přibližné Q-učení CVaRu na náročnějším vizuálním prostředí. Všechny testované přístupy jsou schopny naučit se strategie citlivé k riziku, a to včetně algoritmu hlubokého Q-učení CVaRu, který se naučí vyhýbat se riziku pouze z obrazové informace - pixelů.cze
dc.description.abstractConditional Value-at-Risk (CVaR) is a well-known measure of risk that has been used for decades in the financial sector and has been directly equated to robustness, an important component of Artificial Intelligence (AI) safety. In this thesis we focus on optimizing CVaR in the context of Reinforcement Learning, a branch of Machine Learning that has brought significant attention to AI due to its generality and potential. As a first original contribution, we extend the CVaR Value Iteration algorithm by utilizing the distributional nature of the CVaR objective. The proposed extension reduces computational complexity of the original algorithm from polynomial to linear and we prove it is equivalent to the said algorithm for continuous distributions. Secondly, based on the improved procedure, we propose a sampling version of CVaR Value Iteration we call CVaR Q-learning. We also derive a distributional policy improvement algorithm, prove its validity, and later use it as a heuristic for extracting the optimal policy from the converged CVaR Q-learning algorithm. Finally, to show the scalability of our method, we propose an approximate Q-learning algorithm by reformulating the CVaR Temporal Difference update rule as a loss function which we later use in a deep learning context. All proposed methods are experimentally analyzed, using a risk-sensitive gridworld environment for CVaR Value Iteration and Q-learning and a challenging visual environment for the approximate CVaR Q-learning algorithm. All trained agents are able to learn risk-sensitive policies, including the Deep CVaR Q-learning agent which learns how to avoid risk from raw pixels.eng
dc.language.isoENG
dc.publisherČeské vysoké učení technické v Praze. Vypočetní a informační centrum.cze
dc.publisherCzech Technical University in Prague. Computing and Information Centre.eng
dc.rightsA university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmleng
dc.rightsVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.htmlcze
dc.subjectPosilované učení,Riziko,Bezpečnost v Umělé Inteligenci,CVaR,Value Iteration,Q-learningcze
dc.subjectReinforcement Learning,Risk,AI Safety,Conditional Value-at-Risk,Value Iteration,Q-learningeng
dc.titleDistribuční posilované učení za rizikacze
dc.titleRisk-Averse Distributional Reinforcement Learningeng
dc.typediplomová prácecze
dc.typemaster thesiseng
dc.contributor.refereeKulich Miroslav
theses.degree.disciplineUmělá inteligencecze
theses.degree.grantorkatedra počítačůcze
theses.degree.programmeOtevřená informatikacze


Files in this item





This item appears in the following Collection(s)

Show simple item record