Metody pro vysvětlování lokálních predikcí black-box klasifikátorů
Model-agnostic methods for explaining local predictions of a black-box classifier
dc.contributor.advisor | Jůzlová Markéta | |
dc.contributor.author | Adam Skluzáček | |
dc.date.accessioned | 2020-06-19T22:51:32Z | |
dc.date.available | 2020-06-19T22:51:32Z | |
dc.date.issued | 2020-06-19 | |
dc.identifier | KOS-762877437205 | |
dc.identifier.uri | http://hdl.handle.net/10467/88263 | |
dc.description.abstract | Cílem lokálních univerzálních vysvětlovacích metod je vysvětlit jednotlivé predikce libovolného modelu strojového učení pouze za pomoci vstupů a odpovídajících výstupů daného modelu. Vysvětlování predikcí složitého modelu strojového učení pomáhá odborníkům vylepšovat daný model a zvyšuje uživatelskou důvěru v predikce modelu. Tato práce zkoumá tři z nejmodernějších lokálních univerzálních vysvětlovacích metod -- LIME, Anchors a SHAP. Zkoumané metody jsou detailně popsány a experimentálně vyhodnoceny s ohledem na věrnost jejich vysvětlení vzhledem k vysvětlovanému modelu. Vyhodnocení je provedeno na různých klasifikátorech natrénovaných na uměle vygenerovaných datech i na reálných datech. Umělá data jsou vygenerována na základě známých závislostí, což umožňuje spočítat optimální vysvětlení a porovnat ho s vysvětleními vygenerovanými vysvětlovacími metodami. Výsledky experimentů ukazují, že SHAP je nejrobustnější vůči vlastnostem modelované funkce z uvažovaných vysvětlovacích metod. LIME i Anchors v určitých situacích neprodukují přesná vysvětlení, nicméně v experimentu s reálnými daty obě metody vyprodukovaly přesná vysvětlení. | cze |
dc.description.abstract | Local model-agnostic explanation methods aim to explain a single prediction of an arbitrary machine learning model by studying the model only through its inputs and corresponding outputs. Explaining predictions of a complex machine learning model helps practitioner to debug the model and build user's trust in the predictions. This thesis reviews and describes three of the state-of-the-art local model-agnostic explanation methods -- LIME, Anchors and SHAP. The described methods are evaluated in terms of faithfulness of their explanaions to the model being explained. Evaluation is performed on various classifiers trained on artificially generated datasets as well as a real-world divorce dataset. The artificial datasets are generated based on known dependencies which allows to calculate optimal explanations and compare them to the explanations produced by the explanation methods. The experiments show that SHAP is the most robust out of the considered explanation methods. LIME and Anchors fail to produce faithful explanations in specific cases, however, they both managed to produce faithful explanations in experiment with real-world dataset. | eng |
dc.publisher | České vysoké učení technické v Praze. Vypočetní a informační centrum. | cze |
dc.publisher | Czech Technical University in Prague. Computing and Information Centre. | eng |
dc.rights | A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html | eng |
dc.rights | Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html | cze |
dc.subject | lokální | cze |
dc.subject | univerzální | cze |
dc.subject | vysvětlovací metody | cze |
dc.subject | interpretovatelné strojové učení | cze |
dc.subject | vysvětlitelná umělá inteligence | cze |
dc.subject | LIME | cze |
dc.subject | Anchors | cze |
dc.subject | SHAP | cze |
dc.subject | local | eng |
dc.subject | model-agnostic | eng |
dc.subject | explanation methods | eng |
dc.subject | interpretable machine learning | eng |
dc.subject | explainable artificial intelligence | eng |
dc.subject | LIME | eng |
dc.subject | Anchors | eng |
dc.subject | SHAP | eng |
dc.title | Metody pro vysvětlování lokálních predikcí black-box klasifikátorů | cze |
dc.title | Model-agnostic methods for explaining local predictions of a black-box classifier | eng |
dc.type | bakalářská práce | cze |
dc.type | bachelor thesis | eng |
dc.contributor.referee | Dedecius Kamil | |
theses.degree.discipline | Znalostní inženýrství | cze |
theses.degree.grantor | katedra aplikované matematiky | cze |
theses.degree.programme | Informatika | cze |
Soubory tohoto záznamu
Tento záznam se objevuje v následujících kolekcích
-
Bakalářské práce - 18105 [295]