Machine Learning Explainability Methods

Abstract

Strojové učení se stále více používá v mnoha citlivých aplikacích, kde je nezbytné pochopit, proč se modely chovají tak, jak se chovají. Takový rychlý nárůst zvýšil poptávku po vysvětlitelném strojovém učení a nových metodách vysvětlení. Tyto metody však nezaručují konzistentní výstupy. Tato práce podává stručný přehled současného stavu vysvětlitelného strojového učení a jeho metod se zaměřením především na metody lokálního vysvětlení (např. SHAP a LIME) a globální metody vykreslování pro tabulková data a metody specifické pro modely neuronových sítí. Ukazujeme příklady nekonzistentních vysvětlení SHAP a LIME, ilustrujeme a vysvětlujeme, jak jsou některé metody ovlivněny korelací, a ukazujeme praktické příklady použití metod pro neuronové sítě k analýze modelu a nalezení jeho biasů. Na závěr uvádíme několik doporučení při řešení nekonzistentních výstupů na základě provedeného výzkumu a vlastních experimentů.

Machine Learning is becoming more and more used in many sensitive applications where it is essential to understand why the models behave as they do. Such a rapid increase has heightened the demand for Explainable Machine Learning and new explanation methods. These methods, however, are not guaranteed to yield consistent outputs. This work give a concise overview of the current state of Explainable Machine Learning and its methods, focusing primarily on the local explanation methods (e.g. SHAP and LIME) and global plotting methods for tabular data, and methods specific to neural network models. We show examples of inconsistent explanations of SHAP and LIME, illustrate and explain how some methods are impacted by correlation, and show practical examples of using neural network methods to analyze the model and find its biases. In the end we give some recommendations when dealing with inconsistent outputs based on the research we made and our own experiments.