Approximace přesnosti modelu v optimalizaci hyper-parametru

Abstract

Cílem automatické optimalizace hyper-parametrů je najít nastavení hyper-parameterů učícího algorithm bez lidské pomoci. Protože k vyhodnocení jednoho nastavení je potřeba natrénovat daný model, optimalizační metody které se snaží redukovat počet vyhodnocení jsou třeba. Užitečná technika jsou takzvané náhradní modely, které aproximují přesnost modelu s danou konfigurací. Tato práce zkoumá některé postupy optimalizace hyper-parameterů. Mezi popsané metody patří dvě tradiční methody: mřížková optimalizace a náhodná optimalizace, a dvě nejpokročilejší metody: sekvenční optimalizace založená na náhradním modelu (Bayesovská optimalizace) a Hyperband. Dále je popsáno několik náhradních modelů, které mohou být použity ke zlepšení optimalizace. Efektivita optimalizace a přesnost náhradních modelů je porovnána na dvou datasetech s různým stupněm obtížnosti a algoritmu dopředných umělých neuronových sítí. Výsledky ukazují, že Hyperband dosahuje nejlepších výsledků na obouch datasetech. Analýza výsledků také potvrzuje, že náhradní modely směřují hledání do slibných oblastí a tím urychlují optimalizaci.

Automatic hyper-parameter optimization aims to tune hyper-parameters of machine learning algorithms without human effort. Due to necessity to learn a model to evaluate a configuration, optimization methods that avoid excessive amount of evaluations are desired for the task. A useful technique is to employ a surrogate model which approximates performance of the trained model with given configuration. This thesis reviews some of the approaches that are being used for the hyper-parameter optimization. The described methods include two traditional methods: grid search and random search as a baseline, and two state-of-the-art techniques: sequential model-based optimization (Bayesian optimization) and Hyperband. Several surrogate models that can be used to improve the optimization are described. The performance of the methods and the surrogate models is compared using two datasets of different complexity and a feed-forward artificial neural network as the machine learning algorithm. On both tasks, Hyperband outperforms the other methods. The analysis also confirms that the surrogate models positively bias the search to promising regions and, thus, speed up the optimization.