Učení řídicího algoritmu na datově získaném modelu

Abstract

Cílem teto práce je empiricky demonstrovat, že založená na neuronových sitích řidicí strategie naučena na datově získaném nelineárním dynamickém systému může dosahnout lepšího přenosu ze simulace do skutečného světa néž řidicí strategie naučena na state-of-the-art fyzikálním motoru MuJoCo. Obě strategie nejprv ohodnocene ve simulačním prostředí, na kterém byli trénovani a pak na fyzické platformě. Kromě toho se pokoušíme naučit robustní strategije schopnou kontrolovat nelineární dynamický system na náhodných zakřivených trajektoriích s blízkým ke lidskému řidiču výkonem. Pokusy ukazují, že výkon strategie naučene na datově získanem modelu trpí vyznamně míň za přechodu do skutečného světa néž strategie naučena na MuJoCo enginu. Nasazení naučenych strategií na validační sadu trajektorií demonstruje vysoký blízký ke lidskému řidiču výkon a slušnou schopnost ke generalizace. Kód je zdarma přistupný na githubu \url{https://github.com/barinalex/thesis}. \end{abstract-czech}The aim of this work is to empirically demonstrate that a neural network control policy learned on a data-driven nonlinear dynamical system may achieve better simulation-to-real world transfer than a control policy learned on a state-of-the-art physics engine MuJoCo. Both control policies are at first evaluated in a simulation environment they were trained in and next on a physical platform. In addition, we attempt to learn a robust policy able to control nonlinear dynamics system on random curved trajectories with close to human driver performance. Experiments show that the performance of the policy learned on the data-driven model suffers significantly less from transfer to the real world than that of the policy learned on the MuJoCo engine. Deployment of learned policies on a validation set of trajectories demonstrates high close to human driver performance and a decent ability to generalize. Code is freely available on github \url{https://github.com/barinalex/thesis}.