Metody vysvětlitelnosti pro Vision Transformery

Abstract

Tato práce se podrobně věnuje architektuře Vision Transformer (ViT) a možnostem její vysvětlitelnosti. V teoretické části je důkladně rozebrána struktura a principy fungovaní ViT a pozornosti. Dále je v teoretické části rozbor momentálního stavu metod vysvětlitelnosti pro ViT, zkoumající základy jejich fungování a diskutující jejich dělení. Praktická část se zaměřuje na evaluaci dvou metod vysvětlitelnosti. První metoda, známá jako Beyond Intuition, využívá mechanismus pozornosti, zatímco druhá, nazývaná GradientExplainer, aplikuje Shapleyho hodnoty. Tyto metody byli aplikovány na PyTorch ViT model, předtrénovaný na datasetu ImageNet21K a poté dolaďovány na trénovacích datech komplexních datasetů (Nemoci listů rostlin fazole, meteorologická data, obrazy atomů). V experimentech byly zkoumány rozdíly ve výsledcích interpretací modelů v závislosti na metodě. Tato část práce také nastiňuje, jak mohou být jednotlivé metody vysvětlitelnosti uplatněny v praxi na základě specifických potřeb uživatelů.

This paper discusses in detail the Vision Transformer (ViT) architecture and its explainability. In the theoretical part, the structure and principles of ViT and attention are thoroughly discussed. Next, the theoretical part analyzes the current state of explainability methods for ViT, examining the basics of their operation and discussing their subdivisions. The practical part focuses on the evaluation of two explainability methods. The first method, known as Beyond Intuition, uses the attention mechanism, while the second, called GradientExplainer, applies Shapley values. These methods were applied to the PyTorch ViT model, pre-trained on the ImageNet21K dataset, and then fine-tuned on training data of complex datasets (Bean plant leaf diseases, meteorological data, atomic images). The experiments investigated differences in the interpretation results of the models depending on the method. This part of the paper also points out how different explainability methods can be applied in practice based on specific user needs.