Metody vysvětlitelnosti pro Vision Transformery

Abstract

Tato práce se podrobně věnuje architektuře Vision Transformer (ViT) a možnostem vysvětlitelnosti této architektury. Teoretická část se zabývá důkladným rozborem struktury a principů fungování ViT a mechanismu pozornosti. Dále je v teoretické části rozbor aktuálního stavu metod vysvětlitelnosti pro ViT, zkoumající základy jejich fungování, jejich dělení a metriky pro porovnávání jejich vlastností. Praktická část se zaměřuje na hodnocení tří metod vysvětlitelnosti: Beyond Intuition, GradientExplainer a ViT-Shapley. Tyto metody byly aplikovány na PyTorch ViT modely, které byly předtrénované na datasetu ImageNet21K a poté dolaďovány na trénovacích datech dvou datasetů. V experimentech byly zkoumány vlastnosti daných metod, jako věrohodnost, robustnost a složitost pomocí několika metrik.

This thesis provides a detailed examination of the Vision Transformer (ViT) architecture and the explainability methods available for this architecture. The theoretical section thoroughly analyses the structure and operational principles of ViT and the attention mechanism. Additionally, the theoretical part reviews the current state of explainability methods for ViT, exploring the fundamentals of their functioning, their classifications, and the metrics used to compare their properties. The practical section focuses on evaluating three explainability methods: Beyond Intuition, GradientExplainer, and ViT-Shapley. These methods were applied to PyTorch ViT models that were pre-trained on the ImageNet21K dataset and subsequently fine-tuned on training data from two datasets. The experiments examined the characteristics of these methods, such as faithfulness, robustness, and complexity, using several metrics.