Metody minmax optimalizace ve strojovém učení s protivníkem

Filip Oliver Klimoszek

Minmax Optimization Methods in Adversarial Machine Learning

Typ dokumentu

bakalářská práce
bachelor thesis

Autor

Filip Oliver Klimoszek

Vedoucí práce

Kroupa Tomáš

Oponent práce

Werner Tomáš

Studijní obor

Základy umělé inteligence a počítačových věd

Studijní program

Otevřená informatika

Instituce přidělující hodnost

katedra kybernetiky

Práva

A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html
Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html

Metadata

Zobrazit celý záznam

Abstrakt

Práce zkoumá aplikovatelnost minmax optimalizace za účelem zvýšení robustnosti modelů strojového učení. Teoretická část pokrývá teorii her, Nashovy rovnováhy, minimaxové věty, algoritmy jako SGD, max-oracle algoritmy a TTGDA, a formulaci problémů strojového učení s protovníkem jako minmax optimalizační úlohu. Experimentálně byl hodnocen algoritmus TTSGDA na LIBSVM datech (logistická regrese) v porovnání s SGD a FGSM. Pro hodnocení robustnosti byla zavedena a zkoumána metrika Mean Minimum Adversarial Distortion (MMAD), jejíž výpočet pro logistickou regresi v $l_0, l_1, l_2, l_infinity$ normách byl detailně popsán. Výsledky ukázaly, že TTSGDA často dosáhl vyšší přesnosti, avšak FGSM byl obecně robustnější, přičemž ladění hyperparametrů TTSGDA se ukázalo jako náročné.

The thesis investigates the applicability of minmax optimization for increasing the robustness of machine learning models. The theoretical part covers game theory, Nash equilibria, minimax theorems, algorithms such as SGD, max-oracle algorithms, and TTGDA, and the formulation of adversarial machine learning problems as minimax optimization tasks. Experimentally, the TTSGDA algorithm was evaluated on LIBSVM data (logistic regression) in comparison with SGD and FGSM. For robustness evaluation, the Mean Minimum Adversarial Distortion (MMAD) metric was introduced and examined, with its computation for logistic regression in $l_0, l_1, l_2, l_infinity$ norms described in detail. The results showed that TTSGDA often achieved higher accuracy, but FGSM was generally more robust, while hyperparameter tuning for TTSGDA proved challenging.