3D simulator for vision-based training of autonomous robots
3D simulátor pro trénování autonomních robotů
Authors
Supervisors
Reviewers
Editors
Other contributors
Journal Title
Journal ISSN
Volume Title
Publisher
České vysoké učení technické v Praze
Czech Technical University in Prague
Czech Technical University in Prague
Date
Abstract
Tato práce se zabývá návrhem a implementací prostředí vhodného pro učení neuronové sítě k ovládání robotů podobných autům. Neuronová síť se k prostředí může připojit pomocí protokolu TCP a tím pádem nelimituje implementaci neuronové sítě. Druhou částí této práce je skript, který učí neuronovou síť zaparkovat auto na parkovací místo. Parkování probíhá na základě obrazu z kamery na autě. Tato část má sloužit jako důkaz použitelnosti implementovaného prostředí k učení neuronové sítě, jak ovládat autu podobného robota. Finální neuronová síť je rozdělena na dvě části, kde první část lokalizuje parkovací místo na obrazu z kamery. Výstup této sítě je pak zpracován plně rekurentní neuronovou sítí sloužící jako kontroler dávající povely autu. Prostředí je implementováno v herním enginu Unity 3D a skript v Wolfram Mathematica.
This work focuses on the design and implementation of an environment suitable for training a neural neural network how to control a robot similar to a car. A neural network can be connected to the environment via TCP protocol and, thus, does not limit the implementation of neural network. The second part of this work is a script that teaches the neural network how to park a car using data from the car's cameras. This part serves as a evidence of the usability of the created environment for the purpose of teaching the neural network how to control a car-like robot. The final neural network consists of two parts, where the convolutional network localizes the parking spot from an image from a camera and output coordinates are fed to the recurrent neural network giving commands to the car. The environment is implemented in the game engine Unity 3D and script in Wolfram Mathematica.
This work focuses on the design and implementation of an environment suitable for training a neural neural network how to control a robot similar to a car. A neural network can be connected to the environment via TCP protocol and, thus, does not limit the implementation of neural network. The second part of this work is a script that teaches the neural network how to park a car using data from the car's cameras. This part serves as a evidence of the usability of the created environment for the purpose of teaching the neural network how to control a car-like robot. The final neural network consists of two parts, where the convolutional network localizes the parking spot from an image from a camera and output coordinates are fed to the recurrent neural network giving commands to the car. The environment is implemented in the game engine Unity 3D and script in Wolfram Mathematica.