Urychlení evolučních algoritmů pomocí neuronových sítí

Abstract

Metoda CMA-ES byla zkombinována s ansámbly sítí s různými aktivačními funkcemi jako náhradní model. Během ročního důkladného experimentování tyto ansámbly prokázaly schopnost odhadovat nejistotu. Ačkoli ukázaly potenciál, neprokázaly se jako univerzální řešení, přinášely smíšené výsledky napříč různými funkcemi a dimenzemi. Značná pozornost byla věnována dimenzi 2, kde bylo pozorováno zlepšení výkonu, ačkoliv s různým úspěchem v ostatních dimenzích, kde výsledky často zhoršovaly. Toto vyšetřování předpokládá, že s investicí času srovnatelnous tou, která je vyžadována pro náhradní modely založené na Gaussovských procesech (GP), by mohly být dosaženy podobné nebo lepší výsledky. Nicméně praktičnost takové investice je zpochybňována, zejména vzhledem k existující efektivitě pokročilých metod jako jsou DTS-CMA-ES a lq-CMA-ES. Hlavním přínosem této práce je vývoj mini-frameworku pro testování náhradních modelů, který je navržen tak, aby snížil bariéry pro vstup pro výzkumníky a praktiky zajímající se o aplikaci náhradních modelů na CMA-ES.

The Covariance Matrix Adaptation Evolution Strategy (CMA-ES) was combined with ensembles of networks with different activation functions as a surrogate model. Over a year of rigorous experimentation, these ensembles demonstrated an ability to estimate uncertainty. However, while they showed potential, they did not prove to be a universal solution, yielding mixed results across different functions and dimensions. Significant focus was placed on dimension 2, where enhancements in performance were observed, albeit with varying success in other dimensions where results often deteriorated. This investigation posits that, with an investment of time comparable to that required for Gaussian Process (GP)-based surrogates, similar or better outcomes might be achieved. Yet, the practicality of such an investment is questioned, especially considering the existing efficacy of advanced methods like DTS-CMA-ES and lq-CMA-ES. A principal contribution of this thesis is the development of a mini-framework for surrogate testing, designed to lower the barriers to entry for researchers and practitioners interested in applying surrogate models to CMA-ES.