Optimalizační metody ve strojovém učení
Optimization methods in machine learning
Typ dokumentu
bakalářská prácebachelor thesis
Autor
Ilona Ivantsova
Vedoucí práce
Mácha Václav
Oponent práce
Zorek Matěj
Studijní obor
Matematické inženýrstvíStudijní program
Aplikace přírodních vědInstituce přidělující hodnost
katedra matematikyObhájeno
2023-01-31Práva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
V této práce analyzujeme vztah mezi problémem klasifikace a optimalizací. Diskutujeme řadu optimalizačních algoritmů, používaných pro hledání minima funkce, které jsou použitelné pro řešení klasifikačních problémů. Seznamujeme se s teorií hledání minima funkce bez omezení, zavádíme pojmy globálního a lokálního minima a diskutujeme jejich vztah s gradientem funkce. Seznamujeme se s řadou základních optimalizačních iteračních algoritmů, založených na gradientu účelové funkce. Popisujeme klasifikační model logistické regrese a SVM (z anglického Support Vector Machines). Ukazujeme aplikaci modelu logistické regrese na dataset Iris. Dále ukazujeme jak výběr optimalizačního algoritmu pro vyřešení klasifikačního modelu ovlivňuje počet správně a špatně klasifikovaných pozorování. Vizualizujeme trajektorije řešení jednotlivých optimalizačních algoritmů, porovnáváme jejich účinnost a diskutujeme jejich klady a zápory. Výsledné matematické modely porovnáváme a srovnáváme jejich účinnost v závislosti na použité optimalizační metodě. n the following paper, we analyze the relationship between the problem of classification and optimization. We discuss a number of optimization algorithms that can be used to find the minimum value of objective function and are useful for solving classification problems. We get acquainted with the theory of unconstrained optimalization, introduce the concepts of global and local minima and discuss their relationship with the gradient of the function. We become familiar with a few basic optimization iteration algorithms, based on the gradient of the objec- tive function. We describe the classification model of logistic regression and SVM (Support Vector Machines). We show its application to the Iris dataset and show how the selection of optimization algorithm affects the number of correctly and incorrectly classified observations. We visualize the trajectories of solutions for different optimizers, compare their efficiency, and discuss their pros and cons. Finally, we compare final mathematical models, and discuss their efficiency depending on the optimization method used.
Kolekce
- Bakalářské práce - 14101 [278]