Jednotný model posilovaného učení pro řízení vozítek v reálném i simulovaném prostředí

Abstract

Autonomní závodní platformy, jako je AWS DeepRacer a Nvidia JetRacer, vykazují jemné rozdíly v geometrii podvozku, pohonu i optice kamery, což obvykle vyžaduje pro každý vůz vlastní politiku posilovaného učení. Tato práce zkoumá, zda jediná neuronová síť dokáže řídit celou skupinu čtyřkolových aut pouze na základě monokulárního obrazu. V prostředí MuJoCo byl od nuly sestaven simulátor, který rozšiřuje oficiální modely DeepRaceru o parametrizovanou dynamiku vozidla a pipeline vizuálního šumu (gaussovský šum, náhodné skvrny, fisheye, úplné zatemnění). Během učení provádí doménová randomizace změny točivého momentu, limitů řízení, polohy kamery a osvětlení, zatímco politika Cnn-LSTM je optimalizována algoritmem PPO. Výsledná politika se ukázala jako robustní: v simulaci dokončí celé okruhy na všech oficiálních tratích DeepRacer 2022 v obou směrech a ablace bez paměti či bez randomizace potvrzují, že obě složky znatelně přispívají k výkonu. Co je důležitější, stejná váha sítě se bez dalšího učení přenáší na fyzické vozy nejprve na AWS DeepRacer a poté na JetRacer aniž by bylo nutné manuální zásahy. Chování vozu zůstává plynulé. Tyto výsledky ukazují, že pečlivě navržená randomizace fyziky a senzorů může významně zmenšit mezeru mezi simulací a realitou u pozemních robotických platforem a současně umožnit jediný, kompaktní řídicí model.

Autonomous racing platforms such as AWS DeepRacer and Nvidia JetRacer expose subtle differences in geometry, power-train and optics that typically demand a bespoke reinforcement learning (RL) policy for every car. This thesis asks whether one neural network policy can drive a family of four wheel cars using only a monocular camera. A MuJoCo environment was built from first principles, extending the official DeepRacer assets with parameterised vehicle dynamics and a visual noise pipeline (Gaussian blur, random blobs, fisheye, blackout). During training the simulator performs domain randomisation over engine torque, steering limits, camera pose and illumination, while a Cnn-LSTM policy is optimised with PPO. The resulting policy proves robust: in simulation it completes laps on all official 2022 DeepRacer tracks in both directions, and ablation tests confirm that memory and randomisation each make a tangible contribution. Crucially, the very same weights transfer to physical carsfirst to an AWS DeepRacer and then to a JetRacer, shows good results without retraining and without manual interventions. Observed driving behaviour is smooth. These findings show that carefully designed physics and sensor randomisation can bridge much of the sim-to-real gap for agile ground vehicles while preserving a single, compact policy.