Distribuční posilované učení za rizika

Abstract

Podmíněná hodnota v riziku (Conditional Value-at-Risk, CVaR) je známá míra rizika používaná ve finančním sektoru po dekády. CVaR je zároveň ekvivalentní s robustností, důležitou komponentou bezpečnosti Umělé Inteligence. V této diplomové práci se soustředíme na optimalizaci CVaRu v kontextu posilovaného učení, větví strojového učení která nabývá na popularitě díky své obecnosti a potenciálu. Naším prvním originálním příspěvkem je rozšíření algoritmu Iterace užitkové funkce CVaRu (CVaR Value Iteration), využívající distribučního charakteru CVaRu. Navrhovaný způsob výpočtu snižuje výpočetní složitost algoritmu z polynomiální na lineární, což formálně dokážeme pro spojitá pravděpodobnostní rozdělení. Na základě tohoto nového způsobu výpočtu formulujeme Monte Carlo verzi Iterace užitkové funkce CVaRu, kterou nazýváme Q-učení CVaRu. Dále navrhujeme distribuční algoritmus vylepšení strategie (policy improvement), dokážeme jeho správnost a použijeme ho jako heuristiku pro extrakci optimální strategie z Q-učení CVaRu. Závěrem, abychom ukázali praktičnost a použitelnost algoritmu na velkých stavových prostorech, navrhujeme přibližnou metodu Q-učení CVaRu. Toho docílíme přeformulováním iterace Temporální Diference na ztrátovou funkci, kterou později použijeme v kontextu hlubokého učení. Všechny navržené metody jsou experimentálně ověřeny. Iterace užitkové funkce CVaRu a Q-učení CVaRu na 2D prostředí citlivém na riziko, přibližné Q-učení CVaRu na náročnějším vizuálním prostředí. Všechny testované přístupy jsou schopny naučit se strategie citlivé k riziku, a to včetně algoritmu hlubokého Q-učení CVaRu, který se naučí vyhýbat se riziku pouze z obrazové informace - pixelů.

Conditional Value-at-Risk (CVaR) is a well-known measure of risk that has been used for decades in the financial sector and has been directly equated to robustness, an important component of Artificial Intelligence (AI) safety. In this thesis we focus on optimizing CVaR in the context of Reinforcement Learning, a branch of Machine Learning that has brought significant attention to AI due to its generality and potential. As a first original contribution, we extend the CVaR Value Iteration algorithm by utilizing the distributional nature of the CVaR objective. The proposed extension reduces computational complexity of the original algorithm from polynomial to linear and we prove it is equivalent to the said algorithm for continuous distributions. Secondly, based on the improved procedure, we propose a sampling version of CVaR Value Iteration we call CVaR Q-learning. We also derive a distributional policy improvement algorithm, prove its validity, and later use it as a heuristic for extracting the optimal policy from the converged CVaR Q-learning algorithm. Finally, to show the scalability of our method, we propose an approximate Q-learning algorithm by reformulating the CVaR Temporal Difference update rule as a loss function which we later use in a deep learning context. All proposed methods are experimentally analyzed, using a risk-sensitive gridworld environment for CVaR Value Iteration and Q-learning and a challenging visual environment for the approximate CVaR Q-learning algorithm. All trained agents are able to learn risk-sensitive policies, including the Deep CVaR Q-learning agent which learns how to avoid risk from raw pixels.