Jednotný model posilovaného učení pro řízení vozítek v reálném i simulovaném prostředí
Unified Reinforcement Learning for Four-Wheel Car Models
Typ dokumentu
bakalářská prácebachelor thesis
Autor
Maksim Aleksandrov
Vedoucí práce
Čepek Miroslav
Oponent práce
Buk Zdeněk
Studijní obor
Umělá inteligence 2021Studijní program
InformatikaInstituce přidělující hodnost
katedra aplikované matematikyPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Autonomní závodní platformy, jako je AWS DeepRacer a Nvidia JetRacer, vykazují jemné rozdíly v geometrii podvozku, pohonu i optice kamery, což obvykle vyžaduje pro každý vůz vlastní politiku posilovaného učení. Tato práce zkoumá, zda jediná neuronová síť dokáže řídit celou skupinu čtyřkolových aut pouze na základě monokulárního obrazu. V prostředí MuJoCo byl od nuly sestaven simulátor, který rozšiřuje oficiální modely DeepRaceru o parametrizovanou dynamiku vozidla a pipeline vizuálního šumu (gaussovský šum, náhodné skvrny, fisheye, úplné zatemnění). Během učení provádí doménová randomizace změny točivého momentu, limitů řízení, polohy kamery a osvětlení, zatímco politika Cnn-LSTM je optimalizována algoritmem PPO. Výsledná politika se ukázala jako robustní: v simulaci dokončí celé okruhy na všech oficiálních tratích DeepRacer 2022 v obou směrech a ablace bez paměti či bez randomizace potvrzují, že obě složky znatelně přispívají k výkonu. Co je důležitější, stejná váha sítě se bez dalšího učení přenáší na fyzické vozy nejprve na AWS DeepRacer a poté na JetRacer aniž by bylo nutné manuální zásahy. Chování vozu zůstává plynulé. Tyto výsledky ukazují, že pečlivě navržená randomizace fyziky a senzorů může významně zmenšit mezeru mezi simulací a realitou u pozemních robotických platforem a současně umožnit jediný, kompaktní řídicí model. Autonomous racing platforms such as AWS DeepRacer and Nvidia JetRacer expose subtle differences in geometry, power-train and optics that typically demand a bespoke reinforcement learning (RL) policy for every car. This thesis asks whether one neural network policy can drive a family of four wheel cars using only a monocular camera. A MuJoCo environment was built from first principles, extending the official DeepRacer assets with parameterised vehicle dynamics and a visual noise pipeline (Gaussian blur, random blobs, fisheye, blackout). During training the simulator performs domain randomisation over engine torque, steering limits, camera pose and illumination, while a Cnn-LSTM policy is optimised with PPO. The resulting policy proves robust: in simulation it completes laps on all official 2022 DeepRacer tracks in both directions, and ablation tests confirm that memory and randomisation each make a tangible contribution. Crucially, the very same weights transfer to physical carsfirst to an AWS DeepRacer and then to a JetRacer, shows good results without retraining and without manual interventions. Observed driving behaviour is smooth. These findings show that carefully designed physics and sensor randomisation can bridge much of the sim-to-real gap for agile ground vehicles while preserving a single, compact policy.
Kolekce
- Bakalářské práce - 18105 [369]