Realistická simulace modelu UAV v Unity pro učení řídicích strategií v OpenAI Gym

Abstract

Simulace bezpilotních multirotorů představuje komplexní oblast, která se rychle rozvíjí, což vede k mnoha dostupným softwarovým možnostem. Integrace a vzájemná kompatibilita simulátorů představují výzvu pro výzkumníky při návrhu nových robotických aplikací. Je proto stále zapotřebí rozšiřovat existující sadu nástrojů a integrovat nová zpětně kompatibilní simulační prostředí, která přinášejí nové perspektivy výzkumu využitím svých výhod. Tato práce představuje Unity3D jako simulační nástroj v oblasti UAV a analyzuje ho z různých perspektiv. Projekt přináší realistickou simulaci řídicího systému dronu v kombinaci s simulací fyziky v Unity. Představený softwarový balíček umožňuje vzajemnou kominukaci simulačního prostředí s existujícími nástroji v ROSu prostřednictvím rozhraní ROS-TCP connector. Potenciálním příspěvkem do výzkumu posilovaného učení (RL) pro multirotory je poskytnutí hodnocení frameworku ML-Agents v Unity z hlediska kvality výsledných metod, možností nastavení parametrů modelu a flexibility. Práce poskytuje ukázkové testování trénování modelu zaměřeného na učení se řízení polohy dronu s ohledem na omezení vizuální odometrie. V rámci předvedeného experimentu práce porovnává dva moderní RL algoritmy, PPO a SAC, v několika kategoriích. Finálním přínosem projektu je sada nástrojů, která může být využita pro rychlý start vývojářů při vytváření svých aplikací pro multirotory v Unity3D.

UAV simulation is a complex field that is rapidly evolving, resulting in numerous available software options. The integration and cross-compatibility of the simulators pose a challenge for researchers in designing new robotic applications. Therefore, there is a constant need to expand the existing toolkit stack and integrate the new backward-compatible simulation environments that bring new perspectives to the research by utilizing their advantages. This work introduces Unity3D as a simulation tool in the UAV field, analyzing it from multiple perspectives. The project introduces a realistic simulation of the drone control system in combination with the Unity physics engine. Moreover, the references to the control system and other simulation data can be interchanged with the existing ROS tools through the ROS-TCP connector. Contributing to the multirotor RL research, we provide an examination of the native to Unity ML-Agents framework in terms of performance, convenience of the setup, and flexibility. The thesis provides a testing showcase of an RL model training aimed to teach the drone position control policy while taking into consideration visual odometry constraints. Consequently, the paper compares two state-of-the-art RL algorithms, PPO and SAC, in multiple categories. The final contribution of the project is a toolkit that can be utilized to provide a quick start for other developers in developing their Unity3D multirotor applications.