Průzkum strategií trénování samořídících vozítek AWS DeepRacer pro lepší jízdu v reálném prostředí

Abstract

Cílem této práce je prozkoumat kroky potřebné k přenosu řídicí jednotky se strojovým učením ze simulovaného prostředí do reálného vozidla, aby bylo možné bezpečně a spolehlivě navigovat po trati navzdory vizuálním rozdílům. Hlavní výzva spočívá v překlenutí rozdílu mezi ideálními podmínkami v simulovaném prostředí a dynamickým, hlučným scénářem reálného světa. Šum se projevuje ve světelných podmínkách, odrazech světla, přítomnosti cizích objektů v záběru kamery vozidla a také v nejistotě rychlosti a chování řízení v důsledku stavu baterie. Provedla jsem vyčerpávající přehled stávající literatury o technikách a strategiích pro autonomně řízená vozidla, abych získala hlubší porozumění této oblasti. Poté jsem natrénovala a vyhodnotila model učení s posilováním, který sloužil jako měřítko pro další experimenty. Na jeho základě jsem navrhla možná vylepšení: trénování s náhodným výběrem domény a použití hlubší pětivrstvé neuronové sítě. Tato vylepšení byla aplikována na modely s cílem zvýšit výkonnost vozidla v reálném prostředí. Byla důkladně otestována a ve výsledku se ukázalo, že doménová randomizace je užitečná, zatímco použití 5vrstvé neuronové sítě zřejmě nepřineslo významné zlepšení z řady důvodů.

This thesis aims to investigate the steps required to transfer a machine learning controller from a simulated environment to the real-world vehicle, allowing it to navigate a track in a safe and reliable way despite the visual differences. The main challenge lies in bridging the gap between the ideal conditions in simulated environment and dynamic, noisy real-world scenario. The noise manifests in the lighting conditions, light reflections, presence of foreign objects in the vehicle's camera as well as uncertainty in the speed and steering behaviour due to the battery level. I have conducted an exhaustive review of the existing literature on the techniques and strategies for autonomously driving vehicles in order to gain a deeper understanding of the domain. Afterwards, I have trained and evaluated a reinforcement learning model that served as a benchmark for further experiments. Based on that, I proposed the potential improvements: training with a domain randomization and using a deeper 5-layer neural network. The improvements have been applied to the models in order to enhance the vehicle's performance in the real-world setting. They have been thoroughly tested and, as a result, domain randomization proved to be helpful, while using a 5-layer neural network did not seem to bring significant improvement due to the number of reasons.