Inteligentní termostat využívající metod umělé inteligence

Abstract

Tato práce používá zpětnovazební učení, konkrétně Q-learning, k vytvoření algoritmu pro inteligentní termostat. Algoritmus je schopen nalézt optimální regulátor pouze na základě poskytnutých dat. Data, která jsou k dispozici pro učení, zahrnují pokojovou teplotu, referenční teplotu, venkovní teplotu a aplikovaný vstup (tepelný tok generovaný kotlem). Výzkumná část této práce podrobně vysvětluje princip Q-learningu a ukazuje na několika příkladech samotný proces učení. Výhodou použití Q-learningu je jeho schopnost využít předem známé informace. V našem případě lze dokázat, že Q-funkce nalezená algoritmem bude kvadratická a pozitivně definitní, což podstatně snižuje požadované množství trénovacích dat. Q-learning je také schopen se vyrovnat omezeními způsobenými kotlem, pokud je sloučen s prediktivním řízením (MPC). Závěrečná kapitola obsahuje několik experimentů ověřujících tři hlavní vyvinuté techniky (porovnání reglátorů, generování optimálních regulátorů a sloučení Q-learningu a MPC) na realistickém modelu.

This thesis utilizes reinforcement learning, particularly Q-learning, to develop a self-learning algorithm for an intelligent thermostat. The algorithm is able to find an optimal controller solely based on provided data. The data available for learning include room temperature, reference temperature, outside temperature, and applied input (heat flow generated by the boiler). The research part of this work explains in depth the principle of Q-learning and shows on several examples the learning process itself. The advantage of using Q-learning is its capability to incorporate a priori known information. In our case, it can be shown that the Q-function learned by the algorithm will be quadratic and positive definite, which substantially reduces the required amount of training data. The Q-learning approach is also able to deal with constraints introduced by the boiler if merged with MPC. The final chapter includes several experiments verifying the three major developed techniques (controllers comparison, optimal controller generation and merging Q-learning and MPC) on a realistic thermal model.