Generalizace modelů na nové domény pomocí generování nových trénovacích vzorků

Abstract

Současné modely hlubokého učení si vedou velmi dobře v široké škále úloh a v mnoha z nich jsou schopny překonat člověka. To platí zejména pro úlohy klasifikace obrázků, kde se hluboké neuronové sítě ukázaly jako velmi efektivní. Dobrých výsledků však lze dosáhnout pouze tehdy, pokud trénovací a testovací data pocházejí ze stejné distribuce. V reálných aplikacích se často vyskytují doménové posuny a tento předpoklad je porušen. To vede k výraznému poklesu výkonu při vyhodnocování na datech mimo distribuci (OOD). Doménové zobecnění (DG) je formulace úlohy, která tento problém řeší trénováním modelů, které dobře generalizují při doménových posunech. Zatímco většina stávajících metod DG má na OOD datech špatné výsledky, techniky založené na augmentaci dat a přenesení stylu se ukázaly jako slibné. Současné metody však používají přenesení stylu pouze jako techniku náhodné augmentace dat. Pokoušíme se je vylepšit tím, že navrhujeme novou metodu, která používá přenesení stylu strukturovanějším způsobem za účelem simulace nových syntetických domén. Zkoumáme také výkonnost námi navržené metody v součinnosti se stávající metodou DG CORAL. Dále navrhujeme další nový způsob využití přenesení stylu pro DG, který se zaměřuje na fázi validace a výběru modelu namísto trénovací fáze.Current deep learning models perform very well on a wide range of tasks and are capable of outperforming humans on many of them. This is especially true for image classification tasks, where deep neural networks have proven to be very effective. However, good results can only be achieved when the training and testing data come from the same distribution. In real-world applications, domain shifts are often present, and this assumption is violated. This leads to significant performance drops when evaluated on out-of-distribution (OOD) data. Domain generalization (DG) is a task formulation that addresses this issue by training models that generalize well under domain shifts. While most existing DG methods perform poorly on OOD data, techniques based on data augmentation and style transfer have shown promise. However, current methods use style transfer only as a random data augmentation technique. We try to improve upon them by proposing a novel method that uses style transfer in a more structured way in order to simulate new synthetic domains. We also study the performance of our proposed method in synergy with the existing DG method CORAL. Furthermore, we propose an additional novel way of using style transfer for DG, targeting the validation and model selection phase instead of the training phase.