Učení vysokorychlostního letu autonomního vzdušného robotu v prostředí s překážkami

Abstract

Bezpilotní vzdušné prostředky a zejména kvadrokoptéry se v posledních letech začaly hojně využívat, jejich obratnost a všestranost z nich dělají ideální prostředky pro výkon nejrůznějších úkolů jako inspekce, mapování a prohledávání terénu, monitorování různých prostor, hlídání střeženého vzdušného prostoru a mnoho dalších. V návaznosti na to je prováděn rozsáhlý výzkum v oblasti jejich autonomních schopností, aby bylo možné tyto úkoly automatizovat. Pro mnoho z těchto úloh je nezbytná schopnost dronu pohybovat se rychle ve složitých prostředích. Tato práce popisuje metodu využívající hluboké posilované učení k naučení agenta schopného ovládat vysokorychlostní let kvadrotoru v simulovaném prostřédí s překážkami. Bylo vytvořeno trénovací prostředí a napojeno na existující knihovnu s implementacemi algoritmů hlubokého posilovaného učení. Chování naučeného agenta je otestováno v několika prostředích a na různých trasách. Naučený agent je schopný ovládat dron při letu vysokou rychlostí ve složitých prostředích skrze několik zadaných cílů a využívat data ze simulovaného hloubkového senzoru, aby se vyhnul překážkám.Unmanned Aerial Vehicles (UAVs) and particularly quadrotors have become increasingly popular in recent years. Their high versatility allows their deployment in many tasks such as infrastructure inspection, farmland monitoring, delivery, and reconnaissance. Consequently, their autonomous capabilities are being researched to decrease the need for human supervision. Many of the tasks where quadrotors are used require high-speed flight such as search and rescue, cinematography, protected airspace guarding, and more. This thesis describes a method using policy trained with deep reinforcement learning to perform perception-aware high-speed flight of a quadrotor in simulated environments cluttered with obstacles. A computationally efficient learning environment is presented and paired with an existing reinforcement learning library to train the policy. The approach is tested in several environments on a number of tracks and the resulting behavior is described. The policy is able to control the quadrotor flight through multiple waypoints in a cluttered environment while using depth sensor information to avoid collisions.