Extrakce logických pravidel z neuronových sítí s diskrétními váhami

Abstract

V diskrétních neuronových sítich s binárními aktivacemi a ternárními váhami lze každý neuron vyjádřit jako logický výrok ve formě M-of-N pravidla nebo predikátu. Tato logická forma je vhodná pro abduktivní vysvětlování neuronových sítí, kdy vysvětlení je klasifikační pravidlo. Vzhledem k tomu, ze extrakce abduktivních pravidel je nejméně NP-těžká, tato práce se zaměřuje na aproximativní metody s různou složitostí. Metody jsou experimentálně porovnány.Given a discrete deep neural network with binary activations and ternary weights, each neuron can be expressed as a logic expression, either an M-of-N rule or a predicate. This logical form is suitable for the abductive explanation of neural networks, where the explanation is a classification rule. Since abductive rule extraction is at least NP-hard, this work focuses on approximate methods of varying complexity. The thesis presents a method which uses activation statistics of individual neurons on class and non-class data determined by the quantised network to estimate neuron importance and extract sufficient rules by network pruning. The methods are experimentally compared.