Biologically Plausible Learning with Memory

Abstract

Online Continual learning (OCL) je pro- blém, ve kterém modely strojového učení fungují dobře jen pokud se umí dobře učit postupně z proudu dat, která nejsou ná- hodně zamíchaná a rovnoměrně rozdělená. OCL to dělá rozdělením datové sady na několik úkolů, z nichž každý má nějakou část tříd. Tyto úkoly se pak dávají mo- delu jeden po druhém, předstírající proud příkladů, končící s datasetem. Největším problémem v OCL je cata- strophic forgetting(katastrofální zapomí- nání). Ten se vykazuje tím, že model, který je naučen běžným způsobem, si ne- může dobře pamatovat předchozí úkoly a nedokáže je pak dobře řešit. Tahle práce k tomu přidává tři pod- mínky, které normálně nejsou povinné: (i) velikost batchů je jedna, (ii) omezená veli- kost paměti, a (iii) žádné informace o tom, kdy se úkoly mění nebo jaký je právě ak- tivní úkol. Ve studii se řeší tři metody GSS, ER a DER++. Jsou porovány podle toho, jak si pamatují data, jak promíchávají stream dat a jak se snaží zabránit zapomínaní. Výsledkem experimentů je poznatek, že žádná z metod to nedělá úplně dobře. Všechny mají problém správně namíchat zapamatovaná data tak, aby stream při- pomínal náhodné rozdělení. Na zlepšení těchto problémů jsou navr- ženy tři nová řešení: zaprvé metoda na mí- chání zapamatovaných exemplářů do stre- amu dat, zadruhé strategie na vytváření úkolů, které jsou více závislé, a nakonec nápad jak využít předtrénovaný model, aby to celé fungovalo líp.Online Continual Learning (OCL) intro- duces a setting where machine learning models succeed only when they can learn sequentially from a non-independent and identically distributed (i.i.d) stream of data. OCL ensures this by splitting a dataset into different tasks, each containing a sub- set of the classes, and feeding them to the model as a continuous stream until the entire dataset is processed. The most prominent problem in OCL is catastrophic forgettingthe models fail- ure to retain performance on earlier tasks. This thesis adds three challenging con- straints to OCL: (i) batch size of one, (ii) finite memory size, and (iii) a task-free policy where models dont know when tasks change or what the current task is. Through an empirical study of the methods GSS, ER and DER++ a com- parison is made of how they manage their memory, how they transform the stream of data and how they they try to mitigate catastrophic forgetting. The study concludes, that neither of the methods are completely successful in solving the problem that has been set, as they all fail in the way of mixing the remembered data correctly to create an i.i.d. stream. To address this, three novel solutions are proposed: a method for mixing memo- rized samples, a strategy for creating more dependent tasks, and an inquiry into using pre-trained models for improved perfor- mance.