Robustní strojové učení a adversariální vzorky

Abstract

Algoritmy strojového učení vykazují přítomnost jevu, kde i malá perturbace vstupu algoritmu může způsobit velkou změnu predikce výstupu. Takto perturbovaným vstupům lze přisoudit název adversariální vzorky. Tento fenomén je demonstrován na příkladu klasifikace ručně psaných číslic pomocí konvolučních neuronových sítí. Předvedeny jsou metody jak pro generování těchto adversariálních vzorků, tak i pro obranu neuronové sítě proti těmto adversariálním útokům.

Machine learning algorithms suffer from a phenomenon which occurs when small perturbation of an input of the algorithm causes a great change of the output prediction. Such perturbated inputs can be called adversarial examples. This phenomenon is demonstrated using the problem of classification of handwritten digits using convolutional neural networks. Methods to create such adversarial examples are shown as well as methods of defense of the neural network against such adversarial attacks.