Autonomní řízení a modelování rizik pomocí posilovaného učení
Risk-Aware Autonomous Driving via Reinforcement Learning
dc.contributor.advisor | Macek Karel | |
dc.contributor.author | Petrova Olga | |
dc.date.accessioned | 2019-02-20T10:58:21Z | |
dc.date.available | 2019-02-20T10:58:21Z | |
dc.date.issued | 2019-01-28 | |
dc.identifier | KOS-773337356405 | |
dc.identifier.uri | http://hdl.handle.net/10467/80347 | |
dc.description.abstract | Tato diplomová práce je zaměřena na metody snižování rizika při aplikaci posilovaného učení na úlohu autonomního řízení. K řešení problému se používají dva přístupy: inicializace strategie z expertních příkladů a posilované učení s vnímáním rizika. V rámci studia inicializace strategie věnujeme větší pozornost dvěma metodám: (1) Behavioral Cloning a (2) Generative Adversarial Imitation Learning. Obě metody vykazují schopnost naučit se z expertních příkladů strategii, která je lepší než výchozí náhodná strategie. V rámci posilovaného učení s vnímáním rizika popisujeme dva algoritmy: (1) Q-learning s rizikem řízeným prohledáváním stavového prostoru a (2) Policy Gradient s omezující podmínkou pro rozptyl. Oba algoritmy porovnáváme s originálními verzemi, které jsou vůči riziku neutralní. Výsledky experimentů ukazují, že popsaná varianta algoritmu Q-learning snižuje četnost nehod a zvyšuje hodnotu akumulované odměny v porovnání s originální verzí algoritmu. Zvolená varianta metody Policy Gradient na začátku učení snižuje rozptyl akumulované odměny oproti originální verzi a poté konverguje ke stejné četnosti nehod a hodnotě akumulované odměny. | cze |
dc.description.abstract | This thesis explores methods of risk reduction in reinforcement learning applied to an autonomous driving environment. Two risk-reducing approaches are studied closer: policy initialization from expert demonstrations and risk-aware reinforcement learning. For the purpose of policy initialization, two algorithms are compared: (1) Behavioral Cloning and (2) Generative Adversarial Imitation Learning. Both algorithms show their ability to learn a sensible policy from expert's demonstrations, which perform better than baseline random policy. Within the scope of risk-aware reinforcement learning, two algorithms are described and implemented: (1) Q-learning with risk-directed exploration and (2) variance constrained Policy Gradient algorithm. Both algorithms were compared with original risk-neutral versions. The results of the experiments show that Q-learning with risk-directed exploration reduces collision rate and increases return value in comparison with the original version of the algorithm. Policy Gradient algorithm with a variance constraint reduces the variance of the return during the first part of learning and converges to the same values of collision rate and return as ones of the original version. | eng |
dc.language.iso | ENG | |
dc.publisher | České vysoké učení technické v Praze. Vypočetní a informační centrum. | cze |
dc.publisher | Czech Technical University in Prague. Computing and Information Centre. | eng |
dc.rights | A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html | eng |
dc.rights | Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html | cze |
dc.subject | Posilované učení,Autonomní řízení,Riziko,Bezpečnost | cze |
dc.subject | Reinforcement learning,Autonomous driving,Risk,Safety | eng |
dc.title | Autonomní řízení a modelování rizik pomocí posilovaného učení | cze |
dc.title | Risk-Aware Autonomous Driving via Reinforcement Learning | eng |
dc.type | diplomová práce | cze |
dc.type | master thesis | eng |
dc.date.accepted | 2019-02-04 | |
dc.contributor.referee | Kulich Miroslav | |
theses.degree.discipline | Robotika | cze |
theses.degree.grantor | katedra kybernetiky | cze |
theses.degree.programme | Kybernetika a robotika | cze |
Soubory tohoto záznamu
Tento záznam se objevuje v následujících kolekcích
-
Diplomové práce - 13133 [495]