Škálovatelné gausovské procesy jako náhradní modely v bayesovské optimalizaci

Abstract

Bayesovská optimalizace je globální optimalizační metoda vhodná pro hledání extrémů black-box účelových funkcí drahých na vyhodnocení. Jako modely pro aproximaci takových funkcí se často používají Gaussovské procesy. Jejich kubická časová složitost však omezuje jejich nasazení na aplikace v režimech s malým počtem dat. Tato práce poskytuje přehled moderních škálovatelných Gaussových procesů pro regresi. Experimenty provedené v rámci této práce se zabývají úlohami regrese a bayesovské optimalizace, přičemž v obou případech se využívá několik vybraných modelů založených na Gaussových procesech. Vyhodnocení se provádí pomocí více metrik, z nichž některé jsou zvláště vhodné pro pravděpodobnostní modely. Naše výsledky naznačují, že některé z modelů konzistentně překonávají ostatní v obou úkolech.

Bayesian optimisation is a global optimisation method suitable for finding extrema of expensive-to-evaluate black-box objective functions. Gaussian Processes are frequently used as models for approximating such functions. However, their cubic time complexity limits their deployment to applications in small-data regimes. This thesis provides an overview of state-of-the-art scalable Gaussian Processes for regression. The experiments performed within this work deal with tasks of regression and Bayesian optimisation, both utilising several selected Gaussian Process models. Evaluation is done using multiple metrics, some of which are particularly appropriate for probabilistic models. Our results suggest that the same few models consistently outperform the others in both tasks.