Aplikace herně teoretických algoritmů do hry Gomoku

Abstract

V této práci se zamerujeme na rešení hry Gomoku-swap2. Problémem této hry je obrovský množství možných akcí na daný tah a pomerne velká hloubka hry.Z toho duvodu ohodnocovací funkce pro ohodnocení úrovne herního stavu je nejduležitejší cást programu hry. Z duvodu velkého prohledávacího prostoru jsme použili algoritmus Monte Carlo Tree search (MCTS). Pro usmernování prohledávání jsme použili Neuronovu Sít naucenou na hrách, hraných hráci, místo random heuristiky. V experimentech jsme prokázali lepší výsledky MCTS s neuronovou sítí než základní MCTS. Toto rešení vedlo k prvnímu algoritmu schopnému hrát hru Gomoku-swap2.

In this thesis, we focus on solving the game Gomoku-swap2. The challenges of this domain are the size of the branching factor and the depth of the game. For this reason, the game cannot be solved exactly and so the evaluation function estimating the quality of a game state is the most important factor. Because it is impossible to solve the game exactly, we use Monte Carlo Tree Search (MCTS) where we use large number of simulations as an evaluation function. To guide the search in the MCTS we use the Neural Network learned on the human-played games. In experimental evaluation, we show that the Neural Network heuristic significantly enhances the performance of play. This leads to the first algorithm capable of human-like performance in the game Gomoku-swap2.