Učení se hraní strategických her reálného času z demonstrací s využitím decentralizovaného MAS

Abstract

Přes úsilí vynaložené na výzkum Umělé Inteligence, boti do strategických her reálného času nedokáží ohrozit profesionální lidské hráče. Stále je tu spousta výzev, které výzkumníci musí překonat, aby AI mohla prazit experty. V této práci se zabíváme třemi výzvami: adaptivním plánováním, integrací doménové znalosti a integrací AI technik do jednotné architektury. Představujeme použití techniky Inverse Reinforcement Learning jako způsobu, jak se naučit dělat rozhodnutí na základě pozorování her hraných hráči. Abychom mohli integrovat Inverse Reinforcement Learning společně s dalšími technikami vyžadovanými pro realizaci kompletního bota, postavili jsme naší AI na nové jednotné architektůře v podobě vysoce decentralizovaného Multi-agentního systému. Potom, co jsme použili malou množinu ukázek her, náš bot se by shopný naučit strategii, která dokáže v některých scénářích porazit zabudovanou AI. Bot také vykazuje schopnost uzpůsobit své chování situaci. Náš přístup demonstruje nový způsob jak s minimem doménových znalostí vyvíjet bota, který bude výzvou pro lidské hráče.

Despite the amount of effort put in Artificial Intelligence research, bots for real-time strategy games present no threat for professional human players. There are still many challenges to overcome by researchers to develop AI able to beat experts. In this work, we deal with three challenges: adaptive planning, domain knowledge integration and integration of AI techniques to unified architecture. We introduce the usage of Inverse Reinforcement Learning as a new approach for decision-making based on the observation human gameplay. To be able to integrate Inverse Reinforcement Learning with other techniques needed for the complete bot, we build our AI on new unified architecture in the form of a highly decentralized Multi-agent system. After using a small set of replays, our bot was able to learn strategy which beats built-in AI in some scenarios. The bot also shows the ability to adapt its behavior to the situation. The approach presents a novel way of developing challenging bots with little to none domain expert knowledge.