Autonomní řízení a modelování rizik pomocí posilovaného učení
Risk-Aware Autonomous Driving via Reinforcement Learning
Typ dokumentu
diplomová prácemaster thesis
Autor
Petrova Olga
Vedoucí práce
Macek Karel
Oponent práce
Kulich Miroslav
Studijní obor
RobotikaStudijní program
Kybernetika a robotikaInstituce přidělující hodnost
katedra kybernetikyObhájeno
2019-02-04Práva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Tato diplomová práce je zaměřena na metody snižování rizika při aplikaci posilovaného učení na úlohu autonomního řízení. K řešení problému se používají dva přístupy: inicializace strategie z expertních příkladů a posilované učení s vnímáním rizika. V rámci studia inicializace strategie věnujeme větší pozornost dvěma metodám: (1) Behavioral Cloning a (2) Generative Adversarial Imitation Learning. Obě metody vykazují schopnost naučit se z expertních příkladů strategii, která je lepší než výchozí náhodná strategie. V rámci posilovaného učení s vnímáním rizika popisujeme dva algoritmy: (1) Q-learning s rizikem řízeným prohledáváním stavového prostoru a (2) Policy Gradient s omezující podmínkou pro rozptyl. Oba algoritmy porovnáváme s originálními verzemi, které jsou vůči riziku neutralní. Výsledky experimentů ukazují, že popsaná varianta algoritmu Q-learning snižuje četnost nehod a zvyšuje hodnotu akumulované odměny v porovnání s originální verzí algoritmu. Zvolená varianta metody Policy Gradient na začátku učení snižuje rozptyl akumulované odměny oproti originální verzi a poté konverguje ke stejné četnosti nehod a hodnotě akumulované odměny. This thesis explores methods of risk reduction in reinforcement learning applied to an autonomous driving environment. Two risk-reducing approaches are studied closer: policy initialization from expert demonstrations and risk-aware reinforcement learning. For the purpose of policy initialization, two algorithms are compared: (1) Behavioral Cloning and (2) Generative Adversarial Imitation Learning. Both algorithms show their ability to learn a sensible policy from expert's demonstrations, which perform better than baseline random policy. Within the scope of risk-aware reinforcement learning, two algorithms are described and implemented: (1) Q-learning with risk-directed exploration and (2) variance constrained Policy Gradient algorithm. Both algorithms were compared with original risk-neutral versions. The results of the experiments show that Q-learning with risk-directed exploration reduces collision rate and increases return value in comparison with the original version of the algorithm. Policy Gradient algorithm with a variance constraint reduces the variance of the return during the first part of learning and converges to the same values of collision rate and return as ones of the original version.
Kolekce
- Diplomové práce - 13133 [474]