Evaluace frameworku SEAGE

Abstract

Tato práce je zaměřena na zhodnocení optimalizačního frameworku SEAGE z pohledu aktuálního stavu výzkumu v oblasti hyper-heuristik, a to s využitím nové metriky, která algoritmy ohodnocuje objektivně dle kvality jejich řešení instancí optimalizačních problémů. Porovnání je provedeno na jednom systému mezi již implementovanými heuristikami ve frameworku SEAGE a hyper-heuristikami vytvořenými pro mezinárodní výzvu CHeSC2011. Na začátku práce popisujeme naši motivaci, cíle a dále také rešerši aktuálního stavu výzkumu v této oblasti, díky které jsme objevili framework HyFlex společně s hyper-heuristikami účastníků výzvy CHeSC2011. Během implementace jsme narazili na řadu problémů, které nás odradili od využití již vytvořeného evaluátoru a metriky ve frameworku HyFlex. Jejich nevýhody v práci blíže rozebíráme a představujeme metriku i evaluátor nový, který zmíněné problémy řeší a zároveň přináší určitou formu vylepšení. Pro představení snadnosti tvorby hyper-heuristik v prostředí SEAGE jsme vytvořili takovou, která jednoduše využívá vylepšení objektivního ohodnocení řešení heuristik. K otestování nově představené metriky nejdříve v experimentech přepočítáváme výsledky mezinárodní výzvy CHeSC2011 a zkoumáme chování algoritmů z obou frameworků. Zajímavým výstupem z provedených pozorování je kvalita řešení samotných stavebních bloků hyper-heuristik ve frameworku SEAGE, tedy metaheuristik, nad jednotlivými instancemi domény problému SAT. V závěru práce shrnujeme veškeré získané znalosti a na základě výsledků experimentů zhodnocujeme framework SEAGE z pohledu aktuálního stavu výzkumu

This thesis is focused on the evaluation of the optimization framework SEAGE in the context of the current research state in the hyper-heuristic field. This is done using our new metric, which evaluates algorithms objectively according to the quality of the optimization problem instances. The comparison is based on comparing already implemented heuristics in the SEAGE and hyper-heuristics created for the international competition CHeSC2011. At the beginning of this thesis, we describe our motivation, goals and also the current state of hyper-heuristic research thanks to which we found out about the HyFlex framework together with the hyper-heuristics of the CHeSC2011 participants. During the implementation we encountered a series of problems that discouraged us from using the already implemented evaluator and metric in the HyFlex framework. We describe these problems in detail and present a new metric and evaluator, which solves mentioned problems and also brings a certain form of improvement into the SEAGE framework. For the introduction of hyper-heuristic creation in the SEAGE framework we've created one that uses the newly introduced improvement. For the testing of the newly introduced metric we first recalculate the results of the international competition CHeSC2011 and examine the behavior of algorithms from both the frameworks. An interesting output has emerged from these observations the quality of the hyper-heuristic building blocks (metaheuristics) solutions in the SEAGE framework for the problem domain SAT is really good. Finally, we summarize all the gained observations and based on the results from experiments we evaluate the SEAGE framework in the terms of the current state of hyper-heuristic research.