Optimalizace hyperparametrů pro algoritmy lokálního prohledávání
Hyperparameter Tunning for Local Search Algorithms
Typ dokumentu
diplomová prácemaster thesis
Autor
Lukáš Haberzettl
Vedoucí práce
Čermák Jiří
Oponent práce
Selecký Martin
Studijní obor
Umělá inteligenceStudijní program
Otevřená informatikaInstituce přidělující hodnost
katedra počítačůPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Algoritmy lokálního prohledávání jsou dnes široce používaným nástrojem pro řešení komplexních optimalizačních problémů, pro které není možné s dostupnými prostředky nalézt optimální řešení. Vnitřní strategie těchto algoritmů jsou často konfigurovatelné prostřednictvím hyperparametrů, které mohou významně ovlivnit jejich běh a efektivitu. Správné nastavení těchto parametrů je však často komplikované nedostatkem informací o jejich účinku a vzájemných závislostech. Vysoká časová náročnost běhu také zamezuje použití běžných metod pro optimalizaci hyperparametrů, zvláště v případech vysoké dimenzionality, kde prostor prohledávaných konfigurací je příliš velký. V této práci studujeme metodu Bayesovské optimalizace jako vhodného kandidáta pro optimalizaci hyperparametrů časově náročných funkcí a obhajujeme její aplikovatelnost pro doménu algoritmů lokálního prohledávání. Pro řešení problému navrhujeme modifikaci Bayesovské optimalizace využívající informaci běhu algoritmů pro zrychlení optimalizačního procesu. Naše modifikovaná metoda prokázala rychlejší konvergenci než klasický Bayesovský přístup ve většině provedených experimentů s nalezením podobných nebo lepších hodnot hyperparametrů. Local search algorithms are widely used instruments for the complex optimization tasks, where the problem of finding the optimal solution is infeasible. Commonly, the search strategies of such algorithms can be controlled by a set of hyperparameters that can significantly affect their performance. However, the information about their meaning is often unclear or completely hidden, and identifying optimal values for hyperparameters can be a complicated and time-consuming task. Hence, an automated tool for such hyperparameter tunning can lead to significant performance improvement for the algorithms. In this work, we study the Bayesian optimization as a state-of-the-art tool for automated hyperparameter tunning of expensive black-box functions, and uphold its usefulness when applied to local search algorithms. We propose a modification of the Bayesian approach that adapts to the domain of local search algorithms to speed up optimization process. In most of the performed experiments, our modified method proved to be faster than classic Bayesian optimization with similar or better hyperparameter configurations discovered.
Kolekce
- Diplomové práce - 13136 [892]