Využití zpětnovazebného učení ve strukturální teorii tuhosti

Abstract

Tato práce se zaměřuje na aplikaci zpětnovazebného učení v teorii strukturální tuhosti. Cílem této práce je znovu implementovat evoluční algoritmus hlubokého zpětnovazebného učení, deep cross-entropy method, a aplikovat ji v teorii strukturální tuhosti. V roce 2021 Adam Zsolt Wagner využil tento algoritmus k vyvrácení některých hypotéz pomocí nalezení protipříkladů. Tento algoritmus maximalizuje určitou hodnotící funkci a hlavním cílem této práce je najít minimálně tuhý graf s vysokým počtem realizací v rovině. Teorie strukturální tuhosti je odvětvím matematiky, které studuje grafy a vlastnost tuhosti. Realizace grafu je zobrazení vrcholů do roviny. Dvojice realizace a grafu je považována za tuhou, pokud ji nelze spojitě deformovat se zachováním délek hran. Rigidita je vlastnost grafu při použití generické realizace. Existující implementace počítající počet realizací pro daný minimálně tuhý graf je využita v této práci. Počty realizací byly již dříve spočítány pro všechny minimálně tuhé grafy s maximálně 14 vrcholy. Pro větší grafy existují pouze dolní odhady maximálního počtu. Všechny nejlepší známé grafy s až 15 vrcholy byly v této práci nalezeny v podstatně kratším čase. Výsledkem této práce je několik efektivních reimplementací deep cross-entropy method ve formě Python skriptů. Dvě reimplementace byly vytvořeny pro reprodukci Wagnerových výsledků a jsou obecné, takže je lze použít i pro jiné problémy. Bylo ukázáno, že jsou přibližně 50krát rychlejší než původní implementace vytvořená Wagnerem. Další dvě implementace byly vytvořeny na konstrukci minimálně tuhých grafů s vysokým počtem realizací. Všechny implementace jsou paralelizované a snadno spustitelné na serveru s vysokým počtem CPU jader, což umožňuje využít veškeré dostupné výpočetní proštředky.

This thesis focuses on the application of reinforcement learning to rigidity theory. The goal of this thesis is to reimplement an evolutionary deep reinforcement learning algorithm, the deep cross-entropy method, and apply it to rigidity theory. In 2021 Adam Zsolt Wagner applied this algorithm to disprove some open conjectures by constructing counterexamples. This algorithm maximizes some evaluation function and the ultimate goal of this thesis is to find a minimally rigid graph with a high number of realizations in the plane. Rigidity theory is a branch of mathematics that studies graphs and their property of being rigid. A realization of a graph is a map of vertices to the plane. A realization with a graph is considered rigid if it can not be continuously deformed without changing the lengths of the edges. Rigidity is a property of the graph when using a generic realization. There exists an implementation that computes the number of realizations for a given minimally rigid graph which is utilized in this work. The numbers of realizations have been previously computed by other researchers for all minimally rigid graphs with up to 14 vertices. For bigger graphs, only lower bounds on the maximum number exist. All the best known graphs with up to 15 vertices were found in this thesis and in significantly less time. The outcomes of this thesis are multiple efficient reimplementations of the deep cross-entropy method in the form of Python scripts. Two reimplementations were created for reproducing Wagner's results and are generic so that they can be used for other tasks. It is shown that they are approximately 50 times faster than the original one created by Wagner. Other two implementations are specialized for constructing minimally rigid graphs with a high number of realizations. All implementations are parallelized and easily deployed on a server with a high number of CPU cores leveraging all available computational resources.