Symbolická regrese pro posilováné učení ve spojitých prostorech

Abstract

Algoritmy posilovaného učení (RL) umí optimálně řešit problémy dynamického rozhodování a řízení např. v technických disciplínách, ekonomice, medicíně a umělé inteligenci. Ani nejnovější metody RL ale dosud nepřekročily hranici mezi malými prostory diskrétních stavů a spojitými prostory. K reprezentaci užitkové funkce a řídící strategie využívají tyto algoritmy numerické funkční aproximátory, např. ve formě RBF funkcí nebo neuronových sítí. I když numerické aproximátory jsou dobře prostudovanou oblastí, výběr vhodného aproximátoru a jeho architektury je velmi obtížným krokem, který vyžaduje ladění metodou pokus-omyl. Navíc, numerické aproximátory díky své structuře skoro vždy obsahují tzv. artefakty, které mohou uškodit kvalitě řízení kontrolovaného systému.

Reinforcement Learning (RL) algorithms can optimally solve dynamic decision and control problems in engineering, economics, medicine, artificial intelligence, and other disciplines. However, state-of-the-art RL methods still have not solved the transition from a small set of discrete states to fully continuous spaces. They have to rely on numerical function approximators, such as radial basis functions or neural networks, to represent the value function or policy mappings. While these numerical approximators are well-developed, the choice of a suitable architecture is a difficult step that requires significant trial-and-error tuning. Moreover, numerical approximators frequently exhibit uncontrollable surface artifacts that damage the overall performance of the controlled system.