Adaptace CNN klasifikátorů na změny apriorních pravděpodobností

Abstract

V mnoha klasifikačních úlohách se relativní četnosti tříd (apriorní pravděpodobnosti tříd) na testovací sadě liší od relativních četností během trénování prediktoru. Tento jev, taktéž nazýván \textit{label shift} nebo \textit{prior shift}, může negativně ovlivnit správnost predikcí klasifikátoru. Uvažujeme-li pravděpodobnostní klasifikátor aproximující aposteriorní pravděpodobnosti, mohou být jeho predikce adaptovány na label shift převážením poměrem testovacích a trénovacích apriorních pravděpodobností. Jelikož jsou anotace v testovací sadě obvykle neznámé, musí být poměr apriorních pravděpodobností odhadnut pomocí metody učení bez učitele. Tato teze zhrnuje existující práce řešící adaptaci na label shift. Dále jsou v této práci navrženy nové algoritmy pro odhad nových apriorních pravděpodobností a poměru apriorních pravděpodobností na testovací a trénovací sadě. Navržené metody jsou uzpůsobeny tak, aby řešily známý problém nekonzistentního odhadu pravděpodobnosti rozhodnutí klasifikátoru a jeho confusion matice, jenž může vést k záporným hodnotám v odhadnutých četnostech. Experimentální vyhodnocení ukazuje, že naše metoda zlepšuje stabilitu odhadu apriorních pravděpodobností a přesnost adaptovaného klasifikítoru v porovnání s metodami založenými na confusion matici a současně dosahuje nejlepších výsledků mezi metodami pro prior shift.

In many classification tasks, the test set's relative class frequencies (class priors probabilities) differ from the relative class frequencies at training time. Such phenomenon, called \textit{label shift} or \textit{prior shift}, can negatively affect the classifier's performance. Considering a probabilistic classifier approximating posterior probabilities, the predictions can be adapted to the label shift by re-weighting with a ratio of test set and training set priors. Labels in the test set are usually unknown, therefore the prior ratio has to be estimated in an unsupervised manner. This thesis reviews existing methods for adapting probabilistic classifiers to label shift and for estimating test priors in an unlabeled test set. Moreover, we propose novel algorithms to address the problems of estimating new priors and prior ratio. The methods are designed to handle a known issue in confusion matrix-based methods, where inconsistent estimates of decision probabilities and confusion matrices lead to negative values in estimated priors. Experimental evaluation shows that our method improves the stability of prior estimation and the adapted classifier's accuracy compared to the baseline confusion matrix-based methods and achieves state-of-the-art performance in prior shift adaptation.