Aplikace neuronových sítí v šachové hře

Abstract

Tato práce se zaměřuje na využití neuronových sítí v šachovém enginu. Neuronové sítě jsou trénovány jak pomocí supervizovaného, tak pomocí posilovaného učení. Pro supervizovanou část práce byl navržen algoritmus automatického generování dat ze šachového enginu Stockfish. Tato část také obsahuje analýzu vztahu mezi MiniMax algoritmem a výstupem dopředného průchodu neuronovou sítí, dále vztah mezi hloubkou generovaných dat a použitím vhodného typu architektury ResNet. Navrhuje metriku komplexity šachovnice a odhaluje limity konvolučních neuronových sítí najít a využít informaci skrytou v herním stromě. V druhé části práce obsahuje srovnání více přístupů k posilovanému učení šachového enginu, navrhuje novou metodu k tréninku, která dosahuje lepších výsledků než standartní metoda ve dvou praktických experimentech.

This thesis aims to investigate the application of neural networks in a chess engine. Neural networks are trained using supervised and reinforcement learning. The supervised learning part of the thesis involves automatic dataset generation from the Stockfish chess engine. This part also includes an analysis of the relationship between the MiniMax algorithm and the output of a neural network's single forward pass, as well as the connection between the depth of the generated dataset and the use of the appropriate type of ResNet architecture. Proposes metrics of board complexity and reveals limitations of convolutional neural networks to find and utilize information hidden in the game tree. In addition, the thesis compares multiple approaches to reinforcement learning of the chess engine, proposes novel method to reinforcement learning, which achieved better results than standard method in two practical experiments.