Srovnání interpretovatelných modelů s post-hoc vysvětlitelnými black-box modely
Comparing interpretable models with post-hoc explainable black box models
Typ dokumentu
bakalářská prácebachelor thesis
Autor
Mikuláš Kočí
Vedoucí práce
Rybář Vojtěch
Oponent práce
Petr Ivo
Studijní obor
Umělá inteligence 2021Studijní program
InformatikaInstituce přidělující hodnost
katedra aplikované matematikyPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Hlavním cílem této práce bylo poskytnout další důkazy, že interpretovatelných modely jsou schopné dosáhnout podobných, ne-li lepšího výkonu, než černé skříňky. V našem experimentu jsme zjistili, že pro ani jeden dataset nedosahovala černá skříňka výrazně lepších výsledků, než její interpretovatelné protějšky, kde nejvyšší zaznamený rozdíl z hlediska F1 skóre byl 0.02. Tato výhoda však rozhodně není natolik významná, aby prevážila výhody, které přináší ze své podstaty interpretovatelný model. To platí zejména pro rozhodování s vysokou mírou riyika, kde bychom museli využít nějakou metodu vysvětlitelnosti, která by však nemusela odhalit zaujatost modelu, což by mohlo vést ke špatnému výkonu v reálném světě. The main objective of this thesis is to provide further proof that interpretable models can achieve similar, if not better performance than black-box models. In our experiment, we found that there was not one dataset, where the black-box model performed significantly better than its interpretable counterparts, the highest difference we saw in terms of the F1 score was 0.02. This advantage is definitely not significant enough to outweigh the advantages brought about by an inherently interpretable model. This is especially true for high-stakes decisions, where we would be forced to use an explainability method, which could fail to reveal bias in the black-box model, potentially leading to poor performance in the real world.
Kolekce
- Bakalářské práce - 18105 [292]