Srovnání interpretovatelných modelů s post-hoc vysvětlitelnými black-box modely
Comparing interpretable models with post-hoc explainable black box models
Type of document
bakalářská prácebachelor thesis
Author
Mikuláš Kočí
Supervisor
Rybář Vojtěch
Opponent
Petr Ivo
Field of study
Umělá inteligence 2021Study program
InformatikaInstitutions assigning rank
katedra aplikované matematikyRights
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Show full item recordAbstract
Hlavním cílem této práce bylo poskytnout další důkazy, že interpretovatelných modely jsou schopné dosáhnout podobných, ne-li lepšího výkonu, než černé skříňky. V našem experimentu jsme zjistili, že pro ani jeden dataset nedosahovala černá skříňka výrazně lepších výsledků, než její interpretovatelné protějšky, kde nejvyšší zaznamený rozdíl z hlediska F1 skóre byl 0.02. Tato výhoda však rozhodně není natolik významná, aby prevážila výhody, které přináší ze své podstaty interpretovatelný model. To platí zejména pro rozhodování s vysokou mírou riyika, kde bychom museli využít nějakou metodu vysvětlitelnosti, která by však nemusela odhalit zaujatost modelu, což by mohlo vést ke špatnému výkonu v reálném světě. The main objective of this thesis is to provide further proof that interpretable models can achieve similar, if not better performance than black-box models. In our experiment, we found that there was not one dataset, where the black-box model performed significantly better than its interpretable counterparts, the highest difference we saw in terms of the F1 score was 0.02. This advantage is definitely not significant enough to outweigh the advantages brought about by an inherently interpretable model. This is especially true for high-stakes decisions, where we would be forced to use an explainability method, which could fail to reveal bias in the black-box model, potentially leading to poor performance in the real world.
Collections
- Bakalářské práce - 18105 [292]