Metody odhadu řídké parametrizace neuronových sítí

Abstract

: Diplomová práce se zabývá metodami odhadu řídké parametrizace neuronových sítí, jimiž je možné prořezávat přeparametrizované neuronové sítě a snížit tak jejich komplexitu ve snaze odhalit pouze relevantní parametry, čímž lze zvýšit celkovou interpretabilitu modelu. V rámci práce jsou popsány klasické a variační způsoby, jakými lze tyto parametrizace odhadovat. K tomu převážně poslouží přehled speciálních apriorních distribucí, zde označovaných jako utahující se apriorna, díky kterým dokážeme do modelu vnést informaci o preferenci řídké parametrizace. Variačními metodami poté lze aproximovat aposteriorní distribuci parametrů modelu. Pomocí této aposteriorní distribuce je možné lépe kvantifikovat neurčitost těchto parametrů. Na závěr práce jsou tyto metody aplikovány na různé modely včetně lineární a logistické regrese, neuronových sítí a multi-instančního učení. Experimenty jsou prováděny jak na syntetických, tak reálných datech.

The Master's thesis deals with methods for estimating sparse parameterization of neural networks, which can be used to prune overparameterized neural networks and reduce their complexity in an attempt to reveal only relevant parameters, thus increasing the overall interpretability of the model. In this thesis, the classical and the variational methods, which allow these parameterizations to be estimated, are described. This is achieved by reviewing special prior distributions, here referred to as shrinkage priors, which allow us to incorporate our preferences about sparse parameterizations into the model. Variational methods then help us to approximate the posterior distribution for model parameters. Using this posterior distribution, it is possible to better quantify the uncertainty of the parameters. Finally, the methods are applied to various models, including linear and logistic regression, neural networks, and are also utilized in the concept of multi-instance learning. The experiments are carried out on both synthetic and real data.