Hluboké učení pro autonomní řízení fliperů robotu v simulaci

Abstract

Diky současnému pokroku v algoritmech hlubokého a posilovaného učení, jsou neu-ronové sítě stále častejí použivane v růz-ných robotických ůlohách jako je na-priklad rizeni robotu pri prejizdeni nerov-neho terenu. Zkoumáme různe přístupy hlubokého učeni semi-autonomního algo-ritmu pohybu pro terénniho robota ur-čeneho pro učely 'Search&Rescue' misí s použití jenom čelní kamery a interocep-tivnich dat. Navrhujeme nový algoritmus učení s učitelem a implementujeme ho pro připad kde máme pouze reálného robota bez simulovaného prostředí. Dále navrhu-jeme metodu řešící problém multimoda-lity akcí pomocí Generative Adversarial Networks (GAN). Porovnávame reaktivní a rekurentní chováni implementované po-mocí RNN sítí. Simulátor je použit pro trenování pohybu robotu pomocí hlubo-kého posilovaného učení. Všechny algo-ritmy chováni jsou trenované jako celek, s použitím konvolučních neuronových sítí pro vysokodimenzionální vstupy. Zkou-máme a experimentálně vyhodnocujeme různé metody pro reward shaping jako je napřiklad low control effort a smooth locomotion. Experimenty na realném ro-botu s použitím naučené rekurentní sítě ze simulátoru ukazují, že algoritmus je pou-žitelný i bez nutnosti přeučení na reálném systému. Také navrhujeme dva algoritmy pro domain transfer založene na modifi-kací obrázku s použitím shody s Gram maticí a GAN sítí.Neural networks have seen increasing use in various robotic tasks such as locomotion largely due to advanced in Deep Learning techniques and Reinforcement Learning algorithms. We examine several Deep Learning approaches to learning a semi-autonomous locomotion policy for a ground based search and rescue robot using only front facing RGBD camera and proprioceptive data. A supervised learning approach is suggested and implemented for the case where we only have a real robot and no simulated environment. We also suggest a method to deal with potential issues of multimodal action distributions using an alternative loss proxy based on Generative Adversarial Networks. Reactive as well as recurrent policies implemented using RNNs are compared. A simulator is used to train policies for the robot using Deep Reinforcement Learning. All policies are trained end-to-end, using convolutional neural networks for high dimensional image inputs. We examine the performance of policies trained with variously shaped rewards such as low control effort and smooth locomotion. Experiments are performed on the real robot using a learned RNN policy in the simulator and observe that the policy is transferable with no finetuning to the real environment, albeit, with some performance degradation. We also suggest two potential methods of domain transfer based on image modification using Gram matrix matching and Generative Adversarial Networks.