Vizuální navigace s použitím hlubokého posilovaného učení

Abstract

Hluboké posilované učení bylo aplikované na řadu herních prostředí. Aplikace hlubokého posilovaného učení na vizuální navigaci v realistických prostředích je však náročný úkol. Navrhujeme novou učící architekturu schopnou navigovat agenta k cíli danému obrázkem. K tomu, abychom toho dosáhli, jsme rozšířili batched advantage actor-critic (A2C) algoritmus o pomocné moduly, které byly navrženy, aby vylepšily výkon algoritmu aplikovaného na vizuální navigaci. Navrhujeme tři rozšiřující pomocné moduly pro predikci hloubkové mapy a segmentačních masek pozorovaného obrázku a cílového obrázku. Tyto moduly umožňují použít učení s učitelem na předtrénování velké části neuronové sítě, což snižuje počet trénovacích kroků potřebných k naučení algoritmu. Výkon učení může být navíc zlepšen, když se postupně zvyšuje složitost prostředí s časem. Navrhujeme efektivní strukturu neuronové sítě, která je schopná naučit se navigovat do různých cílů v různých prostředích. Naše metoda je schopná navigace ve spojitých prostředích a v prostředí AI2-THOR překonává výkon state-of-the-art metod umožňujících navigaci do zadaného cíle

Deep reinforcement learning (RL) has been successfully applied to a variety of game-like environments. However, the application of deep RL to visual navigation with realistic 3D environments is a challenging task. We propose a novel learning architecture capable of navigating an agent to a target given by an image. To achieve this, we have extended batched advantage actor-critic (A2C) algorithm with auxiliary tasks designed to improve visual navigation performance. We propose three additional auxiliary tasks for the prediction of the depth map, of the observation image segmentation and of the target image segmentation. These tasks enable the use of supervised learning to pre-train a major part of the network and to substantially reduce the number of training steps. The training performance can be further improved by increasing the environment complexity gradually over time. An efficient neural network structure is proposed, which is capable of learning for multiple targets in multiple environments. Our method navigates in continuous state spaces and on the AI2-THOR environment simulator surpasses the performance of state-of-the-art goal-oriented visual navigation methods from the literature.