Ovládání robota při interakci s těžkým terénem pomocí zpětnovazebného učení

Abstract

Tato práce představuje řešení problému mezibodové navigace robota MARV na krátkou vzdálenost v obtížném terénu pomocí strojově naučené metody. Robot MARV je vybaven čtyřmi nezávisle rotujícími pásy, tzv. flippery, které zvyšují jeho mobilitu v náročném terénu. Schopnost nastavovat flippery a lépe se přizpůsobovat terénu zatím nebyla naplno využita existujícími metodami, které selhávají při překonávání vysokých překážek a nerovností. Navržená metoda využívá hlubokého posilovaného učení, kde řízení robota provádí model neuronové sítě s povědomím okolního prostředí, což umožňuje efektivně využívat všechny dostupné ovládací prvky robota včetně řízení flipperů. Pro natrénování modelu formulujeme úlohu jako problém posilovaného učení. Definujeme množinu trénovacích prostředí s různými vlastnostmi terénu jako formu randomizace trénovací domény, čímž umožňujeme modelu naučit se obecnou strategii použitelnou napříč různými terény. Pro urychlení učení implementujeme vlastní paralelizovanou simulaci běžící na GPU provádějící až 10 000 iterací za sekundu. Na této simulaci stavíme plně GPU-akcelerovanou trénovací smyčku. Pomocí algoritmu PPO trénujeme modely schopné řízení robota již po několika desítkách minut učení, podpořené automatickým nastavením hyperparametrů inspirovaným přístupem AutoRL. Ukazujeme, že tyto modely zvládají navigaci v různých prostředích včetně výjezdu po schodech a objíždění jinak nepřekonatelných překážek. Rovněž demonstrujeme, že tyto modely dokáží generalizovat i na prostředí, se kterými se při učení nesetkaly, a to i za přítomnosti silného šumu. Pro získání robustního a výkonného modelu provádíme ensembling naučených modelů průměrováním a demonstrujeme jak zlepšení úspěšnosti, tak i robustnosti, a snížení počtu katastrofických selhání způsobených řízením robota.

This thesis presents a learning-based solution to the problem of short range point-to-point navigation of the MARV robot in difficult terrain conditions. The robot is equipped with four independent articulating tracks, so-called flippers, enhancing its mobility in challenging terrains. The ability of the flippers to articulate and better adapt to the terrain has not been fully utilized by existing methods, limiting their deployment potential. The proposed solution is based on a learned, environmentally-aware neural network-based control policy, enabling effective utilization of all available control elements, including the articulation of the flippers. To learn the neural network, we formulate the problem as a reinforcement learning task. We define a set of training environments with different terrain characteristics as a form of domain randomization, learning a general policy usable across various terrains. To facilitate fast and efficient training, we implement a custom, GPU-parallelized simulation performing up to 10 000 timesteps per second. We incorporate the simulation into a fully GPU-accelerated learning pipeline. Using the PPO algorithm, we train capable policies within tens of minutes, aided by automated hyperparameter discovery inspired by the AutoRL approach. We show that our policies are able to navigate various terrains, including ascending stairs and driving around otherwise untraversable obstacles with high success rates. We also demonstrate that the policies are able to generalize to previously unseen environments with different terrain characteristics than those used during training, even in the presence of high-magnitude noise. To obtain a robust, high-performing policy, we ensemble the learned policies by averaging and demonstrate improved success rates, robustness, and decrease in control-induced catastrophic failures.