Společné učení pro robotickou navigaci

Abstract

Tato práce se zaměřila na použití federovaného učení v kombinaci s hlubokým posilovaným učením k řešení problému robotické navigace s omezenou senzorickou výbavou. Byl učiněn pokus replikovat úspěch metody společného učení s měkkou aktualizací vah, která byla představena ve článku Federated Reinforcement Learning for Collective Navigation of Robotic Swarms. Součástí replikace bylo vytvoření prostředí, ve kterém se několik robotů TurtleBot3 umístěných v oddělených hřištích snažilo dojet do stanovených cílů. Replikovaná metoda nedokázala během vyhodnocování dosáhnout předpokládané úspěšnosti. Byly představeny čtyři úpravy pro zlepšení jejích vlastností a chování. Dvě z nich dokázaly zvýšit úspěšnost při vyhodnocování a dokonce jejich výkony překonaly v dnešní době nejlepší trénovací algoritmus, ačkoliv jejich úspěch nebyl tak výrazný jako úspěch replikované metody v původním článku.

This work focused on the use of federated learning in combination with deep reinforcement learning to complete the task of robotic navigation with restrained sensory equipment. An attempt is made to replicate the success of federated learning with the soft weight update, which was introduced in the paper Federated Reinforcement Learning for Collective Navigation of Robotic Swarms. This included the creation of a scenario where several TurtleBot3 robots in independent playgrounds navigated to goals. The replicated method does not reach the expected evaluation performance. Four changes and additions to the method were introduced to improve its behavior. Two propositions enhanced the algorithm performance during evaluation and even managed to outperform other current methods. Although their success was not as significant as the success of the replicated method in the original paper.