Smíšené celočíselné programování ve strojovém učení
Mixed-integer Programming in Machine Learning: Decision Trees and Neural Networks
Type of document
diplomová prácemaster thesis
Author
Jiří Němeček
Supervisor
Mareček Jakub
Opponent
Kungurtsev Vyacheslav
Field of study
Umělá inteligenceStudy program
Otevřená informatikaInstitutions assigning rank
katedra počítačůRights
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Show full item recordAbstract
Ve strojovém učení se otázka vysvětlitelnosti a férovosti stává stále více důležitou. Nové koncepty požadovaných vlastností modelů strojového učení jsou představovány a často vyžadují jiné metody pro optimalizaci. Jednou z takových metod je smíšené celočíselné programování (MIP). Vytváříme přehled širokého použití MIP ve strojovém učení a rozvádíme dvě témata do hloubky. Primárně představujeme MIP formulaci rozhodovacího stromu, zaměřenou na férové rozdělení přesnosti na jeho listech. Nazývame tuto formulaci Fair Classification Tree (FCT). Pomocí ní se zaměřujeme na dosud přehlížený problém. Přidáním dalších modelů do listů FCT ukazujeme, že rozšířené modely mají přesnost srovnatelnou se současně nejlepšími modely, zatímco značně zlepšují vysvětlitelnost modelu. Dále představujeme funkci pro hodnocení kvality kontrafaktuálních vysvětlení modelu, kterou nabízíme k použití při trénování modelu pro hledání rovnováhy mezi vysvětlitelností a přesností modelu. Kontrafaktuální vysvětlení jsou post-hoc vysvětlovací technikou široce používanou v oblastech od financí po zdravotnictví. In Machine learning (ML), the question of explainability and fairness is becoming ever more critical. New concepts of desired properties of ML models are being introduced and often require looking for other optimization methods. Mixed-integer programming (MIP) is one such optimization method. We overview the wide use of MIP in ML and explore two topics in depth. We mainly contribute with a MIP formulation of a classification tree, focusing on a fair accuracy distribution over its leaves. We call the formulation Fair Classification Tree (FCT). With it, we tackle a currently overlooked problem. By adding further models to the leaves of the FCTs, we show that the extended models have comparable accuracy to state-of-the-art models while significantly improving the explainability of the model. Secondly, we propose a possible way to assess the quality of a model's counterfactual explanations using a function and offer its use in model training in search of balance in explainability and accuracy at once. Counterfactual explanations are a post-hoc explanation technique widely used in fields ranging from finance to healthcare.
Collections
- Diplomové práce - 13136 [892]