Pokročilé architektury umělých neuronových sítí pro virtuální robotické agenty

Abstract

Tato bakalářská práce se zabývá tvorbou strojově učících agentů uvnitř virtuálního prostředí. Prostředí vytvořeno v herním prostředí Unity je jednoduchá FPS simulace kde se agenti učí bojovat proti heuristickým agentům, kteří byly vytvořeni pro tuto práci. Tři typy architektur neuronových sítí byly vytrénovány za pomoci unity mlagents toolkitu. První neuronová sít je zaměřena na Dlouhou krátkodobou paměť(LSTM) bez kamerové vize, druhá na její kombinaci s konvolučními neuronovými sítěmi, a třetí na reziduální neuronové sítě a znovu LSTM. Tyto 3 neuronové sítě byly pomalu vytrénovány v určitých trénovacích protředích, aby postupně nabyly potřebné dovednosti. Následně byly učeny bojovat proti již zmíněným heuristickým agentům. Výslední agenti byly pak testování v dalších prostředích. Poté, byla data z tohoto učení a testování analyzováno a posouzeno.This bachelor thesis deals with the creation of machine learning agents inside a virtual simulation. The environment created within the Unity game engine is a basic FPS simulation where the agents learn to battle heuristic agents that were created for this work. Three types of neural network achitectures were trained using the unity mlagents toolkit. First neural network focuses on non-camera-vision-based Long short-term memory(LSTM), the second one on combining it with convolution neural network, and third one uses Residual neural network and LSTM. These 3 networks were slowly trained within certain training environments to help them gradually learn the skills they need. After this they were trained to fight against the aforementioned heuristic agents. The resulting agents of this training were then tested in separate environments. Following this the data from training and testing was analyzed and assesed.