Exktrakce pravidel z hlubokých neuronových sítí

Abstract

Od konce osmdesátýchlet, kdy byla objevena univerzální aproximační vlastnost umělých neuronových sítí, tj. schopnost aproximovat vztah nebo závislost s libovolnou přesností, bylo její úplné vysvětlení skryto v čistě numerické reprezentaci, kterou neuronové sítě využívají pro vyjádření příslušných vztahů a závislostí, avšak tato reprezentace je lidem málo srozumitelná. Většina pokusů, jak snížit nesrozumitelnost, spočívá v použití metod, které na základš neuronové sítě vytvoří pravidla daného tvaru v dané formální logice, přičemž taková pravidla jsou pro člověka obecně vnímána jako srozumitelná. Od té doby bylo představeno několik desítek takových metod, které se lišily v různých aspektech. Díky rozličnosti a také blízkého vztahu sémantiky získaných pravidel ke zkoumané úloze, se nikdy žádná z metod extrakce pravidel nestala standardem a je vždy nutné vybrat vhodnou metodu pro konkrétní úlohu. V této práci jsou použity metody extrakce pravidel z neuronových sítí na multimediální data, která jsou velmi důležitá a navíc velmi složitá. Tato práce zahrnuje tři vybrané metody extrakce pravidel z neuronových sítí, které jsou použity na řešení problému klasifikace rozpoznaného textu a řeči, které mají velký počet příznaků, a také jsou aplikovány na populární dataset MNIST. Výsledky uvažovaných metod na zmíněných datasetech jsou porovnány s použitím statistické analýzy.

Since the universal approximation property of artificial neural networks was discovered in the late 1980s, i.e., their capability to arbitrarily well approximate nearly arbitrary relationships and dependences, a full exploitation of this property has been always hindered by the very low human-comprehensibility of the purely numerical representation that neural networks use for such relationships and dependences. The mainstream of attempts to mitigate that incomprehensibility are methods extracting, from the neural-network representation of relationships and dependences, several kinds of rules of some formal logic, which are in general viewed as human-comprehensible. Many dozens of such methods have already been proposed since the 1980s, differing in a number of diverse aspects. Due to that diversity, and also due to a close connection of the semantics of extracted rules to the respective application domain, no rules extraction methods have ever become a standard, and it is always necessary to select a suitable method for the considered domain. Here, rules extraction from trained neural networks are employed for multimedia data, which is an increasingly important but also increasingly complex kind of data. Three particular rules extraction methods are considered and applied to the recognized text modality and the speech acoustic modality of the data, the latter with three increasingly large subsets of features, as well as to the popular MNIST dataset. A detailed comparison of the performance of the considered methods on those datasets is presented, and a statistical analysis of the obtained results is performed.