Využití testů dobré shody pro trénování generativních adversariálních sítí

Abstract

Generativní adversariální sítě (GAN) jsou třídou metod hlubokého učení většinou pracující s~obrázky nebo jinými vysokodimenzionálními daty. U takových dat je pak obtížné rozhodnout, zda se distribuce naučená modelem shoduje s~distribucí zdrojových dat, případně v~jakých místech se liší. K~měření těchto odlišností lze využít míry maximum mean discrepancy (MMD) nebo unnormalized mean embedding (UME). Tato práce ověřuje, že obě míry při správné parametrizaci spolehlivě detekují globální i lokální odlišnosti distribucí obrazových dat. Detailně jsou zkoumány možnosti výběru kernelu, jeho parametrů, a v případě UME volba testových lokací. Je ověřena interpretovatelnost optimalizovaných testových lokací v~kontextu odhalování lokálních odchylek mezi distribucemi. V závěru je navržena nová metoda early stoppingu trénování GAN založená na měření MMD a UME mezi výstupy sítě a testovacími daty.

Generative adversarial networks (GAN) are a class of deep learning methods which are usually applied to images or other high-dimensional data. With such data, it is difficult to decide if the distribution learnt by a model matches the distribution of source data, or to locate the differences. To measure those discrepancies, maximum mean discrepancy (MMD) or unnormalized mean embedding (UME) measures may be used. This thesis verifies that with proper parametrization, both measures reliably detect both global and local discrepancies in image data. Choice of kernel, its parameters, and in the case of UME the selection of test locations, are studied in detail. Interpretability of optimized test locations in the context of local difference discovery is verified. Finally, a novel method of early stopping based on MMD and UME measured between the network's output and testing data is proposed.