Posilované učení pro manipulaci se skupinami objektů pomocí fyzikálních silových polí

Abstract

This bachelor's thesis deals with the simulation of a magnetic manipulation platform called Magman and methods of reinforcement learning that utilize the implemented simulator for training. Both of the implemented algorithms, namely Deep Deterministic Policy Gradient (DDPG) and Soft Actor-Critic (SAC), belong to the group of offline reinforcement learning methods based on Q-learning. The first part of this thesis is dedicated to relevant reinforcement learning theory and a description of the above-mentioned algorithms. The following chapter consists of a description of the developed simulator, including its function from the point of view of an end-user. In the last part, several problems solved by these methods are presented. In particular, the tasks were ball position control, coil control, shaping of a distribution of a collection of balls and finally feedback-controlled mixing of two groups of balls.

Tato bakalářská práce se zabývá simulací platformy pro magnetickou manipulaci zvané MagMan a metodami posilovaného učení, které implementovaný simulátor využívají pro trénink. Oba implementované algorithmy, a sice Deep Deterministic Policy Gradient (DDPG) a Soft Actor-Critic (SAC), patří do kategorie offline metod posilovaného učení na bázi Q-learningu. První část práce je věnována relevantní teorii posilovaného učení a popisu výše zmíněných algoritmů. V té následující je uveden popis vyvinutého simulátoru, včetně popisu funkce pro koncového uživatele. V poslední části je uvedeno několik problémů, které byly těmito metodami řešeny. Jmenovitě jde o řízení polohy kuliček, ovládání cívek, tvarování rozložení kolekce kuliček a konečně řízené směšování dvou skupin kuliček.