Apriorní modely pro rubustní adversariální hluboké učení

Abstract

Hluboké sítě naučené standardními metodami diskriminačního učení jsou náchylné k protichůdným vzorům. Výcvik nepřátelsky robustních hlubokých sítí proto vyžaduje nové metody učení. Jednou zajímavou možností je zahrnout vhodné předchozí znalosti, které buď zobecní v silnějším smyslu, s využitím těchto předběžných informací, nebo omezí vyhledávací prostor prozkoumaný metodou učení, zatímco po tréninku penalizují příklady, které jsou nepravděpodobné v rámci distribuce dat. Práce si klade za cíl analyzovat a porovnávat různé typy předchozích poznatků s ohledem na jejich vliv na robustnost oponentů. Vhodnou volbou pro konvoluční hluboké sítě je zavedení laterálních interakcí uvnitř konvolučních vrstev, které odrážejí předpoklad prostorové kontinuity.

Deep networks learned by standard methods of discriminative learning are susceptible to adversarial patterns. Training adversarially robust deep networks therefore requires new learning methods. One interesting option is to include appropriate prior knowledge that will either generalize in a stronger sense by using prior information, or restrict the search space explored by the learning method while, after training, penalizing examples that are unlikely under the data distribution. The thesis aims at analyzing and comparing different types of prior knowledge with respect to their impact on adversarial robustness. A suitable option for convolutional deep networks is to introduce lateral interactions within the convolutional layers to reflect the assumption of spatial continuity.