Robustní postupy při trénování neuronových sítí

Abstract

Cílem této práce je propojit dosavadní poznatky o neuronových sítích se statistickými metodami a navrhnout a implementovat robustní verzi algoritmu zpětné propagace. Algoritmus zpětné propagace, založený na minimalizaci sumy nejmenších čtverců, není robustní vůči odlehlým pozorováním. Absenci robustnosti řešíme ve statistice mimo jiné pomocí metody LTS. V této práci jsme pomocí metody LTS upravili ztrátovou funkci neuronové sítě a navrhli tak robustní verzi algoritmu zpětné propagace pro regresní úlohu. Obě verze algoritmu byly porovnány na různých datech s různými typy odlehlých hodnot a s různou mírou kontaminace. Na základě těchto výpočtů nakonec můžeme kriticky zformulovat různé výhody i nevýhody robustního trénování neuronových sítí.

The aim of this work is to summarize current knowlage about neural networks and to derive and implement the robust version of the backpropagation learning algorithm. The backpropagation learning algorithm is based on the minimalization of the mean squared error loss function. However this algorithm is not robust in the presence of outliers. To rubustify neural network we used the LTS (least trimmed squares) method. Both versions were compared and tested on various datasets.