Optimalizační metody ve strojovém učení

Abstract

V této práce analyzujeme vztah mezi problémem klasifikace a optimalizací. Diskutujeme řadu optimalizačních algoritmů, používaných pro hledání minima funkce, které jsou použitelné pro řešení klasifikačních problémů. Seznamujeme se s teorií hledání minima funkce bez omezení, zavádíme pojmy globálního a lokálního minima a diskutujeme jejich vztah s gradientem funkce. Seznamujeme se s řadou základních optimalizačních iteračních algoritmů, založených na gradientu účelové funkce. Popisujeme klasifikační model logistické regrese a SVM (z anglického Support Vector Machines). Ukazujeme aplikaci modelu logistické regrese na dataset Iris. Dále ukazujeme jak výběr optimalizačního algoritmu pro vyřešení klasifikačního modelu ovlivňuje počet správně a špatně klasifikovaných pozorování. Vizualizujeme trajektorije řešení jednotlivých optimalizačních algoritmů, porovnáváme jejich účinnost a diskutujeme jejich klady a zápory. Výsledné matematické modely porovnáváme a srovnáváme jejich účinnost v závislosti na použité optimalizační metodě.

n the following paper, we analyze the relationship between the problem of classification and optimization. We discuss a number of optimization algorithms that can be used to find the minimum value of objective function and are useful for solving classification problems. We get acquainted with the theory of unconstrained optimalization, introduce the concepts of global and local minima and discuss their relationship with the gradient of the function. We become familiar with a few basic optimization iteration algorithms, based on the gradient of the objec- tive function. We describe the classification model of logistic regression and SVM (Support Vector Machines). We show its application to the Iris dataset and show how the selection of optimization algorithm affects the number of correctly and incorrectly classified observations. We visualize the trajectories of solutions for different optimizers, compare their efficiency, and discuss their pros and cons. Finally, we compare final mathematical models, and discuss their efficiency depending on the optimization method used.