Adaptivní řízení pomocí neuronových sítí

Abstract

Online adaptivní řízení systémů s proměnlivými parametry je přetrvávající problém v odvětví řídící techniky. Systémy s proměnlivými parametry jsou dynamické systémy, jejichž vlastnosti jsou závislé na nepozorovatelné proměnné, neznámé pro řídící systém. Klasické řídící metody často selhávají na tomto problému, protože jsou buď příliš nepřesné, nebo příliš výpočetně náročné. Hluboké posilované učení nabízí způsob jak získat rychlou adaptivní kontrolní strategii, která se blíží strategii optimální. Hluboké posilované učení je ještě užitečnější, pokud je dimenzionalita systému pro klasické metody příliš velká, například robotické manipulace. Tato práce demonstruje adaptivitu neuronových sítí v řízení systémů s proměnlivými parametry, na vlastní simulaci nelineárního systému. Také porovnává tyto strategie s třemi plně nelineárními MPC kontrolery, které by v tomto úkolu měly dosahovat téměř optimálního chování. Navíc je také vytvořena LSTM síť odhadující tyto nepozorovatelné proměnné, která je poté použita v řídící strategii.

The online adaptive control of parameter varying systems is a persisting problem in the field of control engineering. Parameter varying systems are dynamic systems, whose properties depend on unobservable variables, unknown to the controller. Classic control methods often fail on this task, as they are too inaccurate or too computationally demanding. Deep reinforcement learning offers a way of acquiring fast online-adaptive policies, very closely approximating the optimal policy. It becomes even more useful, when the dimensionality of the system, such as in robotic manipulation, becomes too big for classic methods to handle. This thesis demonstrates the adaptability of neural network policies in the control of parameter varying systems, on its simulation of a non-linear system. It also benchmarks these policies against three fully non-linear MPC controllers, which should achieve almost optimal behaviour in this setting. In addition, an LSTM network estimator of the unobservable variables is created and used in the control policy.