ČVUT DSpace
  • Prohledat DSpace
  • English
  • Přihlásit se
  • English
  • English
Zobrazit záznam 
  •   ČVUT DSpace
  • České vysoké učení technické v Praze
  • Fakulta informačních technologií
  • katedry
  • katedra aplikované matematiky
  • Bakalářské práce - 18105
  • Zobrazit záznam
  • České vysoké učení technické v Praze
  • Fakulta informačních technologií
  • katedry
  • katedra aplikované matematiky
  • Bakalářské práce - 18105
  • Zobrazit záznam
JavaScript is disabled for your browser. Some features of this site may not work without it.

Jednotný model posilovaného učení pro řízení vozítek v reálném i simulovaném prostředí

Unified Reinforcement Learning for Four-Wheel Car Models

Typ dokumentu
bakalářská práce
bachelor thesis
Autor
Maksim Aleksandrov
Vedoucí práce
Čepek Miroslav
Oponent práce
Buk Zdeněk
Studijní obor
Umělá inteligence 2021
Studijní program
Informatika
Instituce přidělující hodnost
katedra aplikované matematiky



Práva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html
Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznam
Abstrakt
Autonomní závodní platformy, jako je AWS DeepRacer a Nvidia JetRacer, vykazují jemné rozdíly v geometrii podvozku, pohonu i optice kamery, což obvykle vyžaduje pro každý vůz vlastní politiku posilovaného učení. Tato práce zkoumá, zda jediná neuronová síť dokáže řídit celou skupinu čtyřkolových aut pouze na základě monokulárního obrazu. V prostředí MuJoCo byl od nuly sestaven simulátor, který rozšiřuje oficiální modely DeepRaceru o parametrizovanou dynamiku vozidla a pipeline vizuálního šumu (gaussovský šum, náhodné skvrny, fisheye, úplné zatemnění). Během učení provádí doménová randomizace změny točivého momentu, limitů řízení, polohy kamery a osvětlení, zatímco politika Cnn-LSTM je optimalizována algoritmem PPO. Výsledná politika se ukázala jako robustní: v simulaci dokončí celé okruhy na všech oficiálních tratích DeepRacer 2022 v obou směrech a ablace bez paměti či bez randomizace potvrzují, že obě složky znatelně přispívají k výkonu. Co je důležitější, stejná váha sítě se bez dalšího učení přenáší na fyzické vozy nejprve na AWS DeepRacer a poté na JetRacer aniž by bylo nutné manuální zásahy. Chování vozu zůstává plynulé. Tyto výsledky ukazují, že pečlivě navržená randomizace fyziky a senzorů může významně zmenšit mezeru mezi simulací a realitou u pozemních robotických platforem a současně umožnit jediný, kompaktní řídicí model.
 
Autonomous racing platforms such as AWS DeepRacer and Nvidia JetRacer expose subtle differences in geometry, power-train and optics that typically demand a bespoke reinforcement learning (RL) policy for every car. This thesis asks whether one neural network policy can drive a family of four wheel cars using only a monocular camera. A MuJoCo environment was built from first principles, extending the official DeepRacer assets with parameterised vehicle dynamics and a visual noise pipeline (Gaussian blur, random blobs, fisheye, blackout). During training the simulator performs domain randomisation over engine torque, steering limits, camera pose and illumination, while a Cnn-LSTM policy is optimised with PPO. The resulting policy proves robust: in simulation it completes laps on all official 2022 DeepRacer tracks in both directions, and ablation tests confirm that memory and randomisation each make a tangible contribution. Crucially, the very same weights transfer to physical carsfirst to an AWS DeepRacer and then to a JetRacer, shows good results without retraining and without manual interventions. Observed driving behaviour is smooth. These findings show that carefully designed physics and sensor randomisation can bridge much of the sim-to-real gap for agile ground vehicles while preserving a single, compact policy.
 
URI
http://hdl.handle.net/10467/124331
Kolekce
  • Bakalářské práce - 18105 [369]

České vysoké učení technické v Praze copyright © 2016 

DSpace software copyright © 2002-2016  Duraspace

Kontaktujte nás | Vyjádření názoru
Theme by 
@mire NV
 

 

Užitečné odkazy

ČVUT v PrazeÚstřední knihovna ČVUTO digitální knihovně ČVUTInformační zdrojePodpora studiaPodpora publikování

Procházet

Vše v DSpaceKomunity a kolekceDle data publikováníAutořiNázvyKlíčová slovaTato kolekceDle data publikováníAutořiNázvyKlíčová slova

Můj účet

Přihlásit se

České vysoké učení technické v Praze copyright © 2016 

DSpace software copyright © 2002-2016  Duraspace

Kontaktujte nás | Vyjádření názoru
Theme by 
@mire NV