Průzkum strategií trénování samořídících vozítek AWS DeepRacer pro lepší jízdu v reálném prostředí
AWS DeepRacer Controller Training Scenarios Exploration for Real-World Perfomance
Typ dokumentu
bakalářská prácebachelor thesis
Autor
Yelizaveta Tskhe
Vedoucí práce
Čepek Miroslav
Oponent práce
Buk Zdeněk
Studijní obor
Software Engineering 2021Studijní program
InformaticsInstituce přidělující hodnost
katedra softwarového inženýrstvíPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Cílem této práce je prozkoumat kroky potřebné k přenosu řídicí jednotky se strojovým učením ze simulovaného prostředí do reálného vozidla, aby bylo možné bezpečně a spolehlivě navigovat po trati navzdory vizuálním rozdílům. Hlavní výzva spočívá v překlenutí rozdílu mezi ideálními podmínkami v simulovaném prostředí a dynamickým, hlučným scénářem reálného světa. Šum se projevuje ve světelných podmínkách, odrazech světla, přítomnosti cizích objektů v záběru kamery vozidla a také v nejistotě rychlosti a chování řízení v důsledku stavu baterie. Provedla jsem vyčerpávající přehled stávající literatury o technikách a strategiích pro autonomně řízená vozidla, abych získala hlubší porozumění této oblasti. Poté jsem natrénovala a vyhodnotila model učení s posilováním, který sloužil jako měřítko pro další experimenty. Na jeho základě jsem navrhla možná vylepšení: trénování s náhodným výběrem domény a použití hlubší pětivrstvé neuronové sítě. Tato vylepšení byla aplikována na modely s cílem zvýšit výkonnost vozidla v reálném prostředí. Byla důkladně otestována a ve výsledku se ukázalo, že doménová randomizace je užitečná, zatímco použití 5vrstvé neuronové sítě zřejmě nepřineslo významné zlepšení z řady důvodů. This thesis aims to investigate the steps required to transfer a machine learning controller from a simulated environment to the real-world vehicle, allowing it to navigate a track in a safe and reliable way despite the visual differences. The main challenge lies in bridging the gap between the ideal conditions in simulated environment and dynamic, noisy real-world scenario. The noise manifests in the lighting conditions, light reflections, presence of foreign objects in the vehicle's camera as well as uncertainty in the speed and steering behaviour due to the battery level. I have conducted an exhaustive review of the existing literature on the techniques and strategies for autonomously driving vehicles in order to gain a deeper understanding of the domain. Afterwards, I have trained and evaluated a reinforcement learning model that served as a benchmark for further experiments. Based on that, I proposed the potential improvements: training with a domain randomization and using a deeper 5-layer neural network. The improvements have been applied to the models in order to enhance the vehicle's performance in the real-world setting. They have been thoroughly tested and, as a result, domain randomization proved to be helpful, while using a 5-layer neural network did not seem to bring significant improvement due to the number of reasons.
Kolekce
- Bakalářské práce - 18102 [1724]