Gausovské procesy a neuronové sítě jako náhradní modely pro CMA-ES

Abstract

Tato diplomová práce je o náhradních modelech pro Doubly Trained CMA-ES, který je modifikací originálního algoritmu CMA-ES, v black box optimalizaci. Používají se Gausovské procesy a neuronové sítě k modelování objektivní funkce a snížení počtu jejích evaluací. Hlavním cílem práce je zkoumání kombinace Gausovských procesů s neuronovými sítěmi jako náhradní model pro DTS-CMA-ES a jestli takový model vykáže lepší výsledky než samotné Gausovské procesy. V rámci práce byly vytvořeny experimenty na COCO-BBOB platformě k porovnání jednotlivých modelů. Statistická významnost všech měřených výsledků je důkladně ověřena pomocí Friedmanova testu po kterém následuje několikanásobné srovnání post-hoc testy. Výsledky práce nepotvrdily, že by kombinace GP a neuronových sítí(MLP) vykazovala lepší výsledky než samotné GP jako náhradní model pro DTS-CMA-ES v black box optimalizaci.

This thesis is about surrogate models for Doubly Trained Covariance Matrix Adaptation Evolution Strategy, which is a modification of CMA-ES in black-box optimisation. We use Gaussian Processes and Neural Networks to model the objective function and to decrease the number of objective function evaluations. Especially, we wanted to explore whether the combination of Gaussian Processes and Neural Networks in the form of Multilayered Perceptron will outperform Gaussian Processes alone. We created experiments on COCO-BBOB testbed to compare the performances of particular surrogate models. The statistical significance of all measured results is thoroughly verified using the Friedman test, followed by multiple comparison post-hoc tests. The thesis did not find that the combination would perform better and found the Gaussian Processes without Multilayered Perceptron as a better surrogate model for Doubly trained CMA-ES in black-box optimisation.