Hledání podmnožiny neuronů neuronové sítě postačujících pro klasifikaci

Abstract

Tato práce se zaměřuje na vysvětlení rozhodnutí neuronové sítě prostřednictvím extrakce pravidel, kde každé pravidlo představuje minimální podmnožinu vlastností fixovaných na jejich pozorované hodnoty, která zaručuje, že výstup modelu se nemůže změnit, i když se všechny ostatní vlastnosti změní. Tato pravidla jsou ověřována jak podle přísného abdukčního kritéria s využitím smíšeného celočíselného lineárního programování, tak podle uvolněného pravděpodobnostního kritéria. Porovnáváme několik vyhledávacích strategií a analyzujeme dopad parametrů, jako je tolerance chyb a velikost vzorkovací podmnožiny, a také to, jak to ovlivňuje dobu běhu a kvalitu vysvětlení. Pro odhalení interpretovatelnosti celé neuronové sítě a pochopení toho, jakým způsobem skládá své rozhodnutí, rozšiřujeme extrakci pravidel na každou vrstvu, abychom ukázali, které neurony řídí rozhodování v každé fázi, od vstupních pixelů přes skryté vrstvy až po konečnou klasifikaci.

This work focuses on explaining neural network decisions by extracting rules, where each rule is a minimal subset of features fixed to their observed values that guarantees that the model's output cannot change if all other features vary. These rules are verified under a strict abductive criterion using Mixed-Integer Linear Programming and under a relaxed, probabilistic criterion. We compare several search strategies and analyze the impact of parameters such as error tolerance and size of sampling subset, and how this affects runtime and explanation quality. To reveal the interpretability of the entire network and an understanding of how it composes its decision, we extend rule extraction across every layer to show which neurons drive the decision at each stage, from input pixels through hidden layers to the final classification.