Autonomní řízení a modelování rizik pomocí posilovaného učení

Abstract

Tato diplomová práce je zaměřena na metody snižování rizika při aplikaci posilovaného učení na úlohu autonomního řízení. K řešení problému se používají dva přístupy: inicializace strategie z expertních příkladů a posilované učení s vnímáním rizika. V rámci studia inicializace strategie věnujeme větší pozornost dvěma metodám: (1) Behavioral Cloning a (2) Generative Adversarial Imitation Learning. Obě metody vykazují schopnost naučit se z expertních příkladů strategii, která je lepší než výchozí náhodná strategie. V rámci posilovaného učení s vnímáním rizika popisujeme dva algoritmy: (1) Q-learning s rizikem řízeným prohledáváním stavového prostoru a (2) Policy Gradient s omezující podmínkou pro rozptyl. Oba algoritmy porovnáváme s originálními verzemi, které jsou vůči riziku neutralní. Výsledky experimentů ukazují, že popsaná varianta algoritmu Q-learning snižuje četnost nehod a zvyšuje hodnotu akumulované odměny v porovnání s originální verzí algoritmu. Zvolená varianta metody Policy Gradient na začátku učení snižuje rozptyl akumulované odměny oproti originální verzi a poté konverguje ke stejné četnosti nehod a hodnotě akumulované odměny.

This thesis explores methods of risk reduction in reinforcement learning applied to an autonomous driving environment. Two risk-reducing approaches are studied closer: policy initialization from expert demonstrations and risk-aware reinforcement learning. For the purpose of policy initialization, two algorithms are compared: (1) Behavioral Cloning and (2) Generative Adversarial Imitation Learning. Both algorithms show their ability to learn a sensible policy from expert's demonstrations, which perform better than baseline random policy. Within the scope of risk-aware reinforcement learning, two algorithms are described and implemented: (1) Q-learning with risk-directed exploration and (2) variance constrained Policy Gradient algorithm. Both algorithms were compared with original risk-neutral versions. The results of the experiments show that Q-learning with risk-directed exploration reduces collision rate and increases return value in comparison with the original version of the algorithm. Policy Gradient algorithm with a variance constraint reduces the variance of the return during the first part of learning and converges to the same values of collision rate and return as ones of the original version.