Heuristika pro automatický výběr distribuce v Open Source H2O AutoML

Abstract

Tato práce se zabývá vytvořením heuristiky pro automatický výběr hyperparametru reprezentujícího statistickou distribuci vysvětlované proměnné pro H2O AutoML framework. Bylo vyzkoušeno několik přístupů s různými výsledky, jako například použití uměle vygenerovaných dat, dat získaných z platformy OpenML nebo různé metody provádění benchmarků. Podařilo se vytvořit heuristiku, která ve čtyřech sledovaných metrikách zlepšuje predikční schopnost v průměru o zhruba 5 % a následně ji implementovat do H2O AutoML. Kromě úspěšných přístupů práce také zkoumá neúspěšné přístupy, které mohou pomoci pro budoucí zlepšování.

This thesis aims to create a heuristic for the automatic selection of a hyperparameter that represents a statistical distribution of the target variable in the H2O AutoML framework. Various approaches were tested, providing different results, for instance, using artificially generated data, using datasets from OpenML platform, or different benchmark methods. The proposed heuristic improves the prediction performance in four followed criteria by about 5 %. This one is implemented to the H2O AutoML. The thesis also examines unsuccessful attempts to provide a solid baseline for future improvements.