Opravování pravděpodobnostních predikcích neuronových sítí

Abstract

Použití neuronových sítí v klasifikačních úlohách je velmi běžné. Často se vyučují na tréninkové sadě, která je obvykle poměrně velká, optimalizací pravděpodobnostního učebního kritéria, jako je věrohodnost. Výzkumníci optimalizovali architekturu a strategii učení pro dobrou generalizaci z hlediska přesnosti klasifikace. Přesné predikce pravděpodobnosti jsou vyžadovány, když je pravděpodobnostní výstup trénovaného klasifikátoru použit v následném rozhodování. Pravděpodobnostní predikce jsou však často nespolehlivé a dokonce klamavé, například přílišně velké sebevědomí klasifikátoru vzhledem ke skutečné chybovosti. S využitím malé datové sady a znalosti testovací úlohy a testovacích podmínek jsme tedy schopni aktualizovat model pro lepší výkon. V této práci dáváme přehled takových aktualizací modelů a navrhujeme nové ztrátové funkce, jmenovitě Direct Loss a Integral Loss, které umožňují vylepšení specializovanějším způsobem na základě požadavků během testování. Ukážeme výkon těchto ztrátových funkcí v kombinaci s určitými kalibračními parametrizace na řadě realistických experimentů, které zahrnují non 0/1 ztrátové matice a změnu apriorních pravědpodobností.

The use of neural networks in classification tasks is very common. They are frequently taught on a training set that is typically quite large by optimizing a probabilistic learning criterion, such as likelihood. Researchers have optimized the architecture and the learning strategy for good generalization in terms of classification accuracy. Accurate probability predictions are required when the probabilistic output of the trained classifier is used in a downstream decision problem. The probabilistic predictions, however, are frequently unreliable and even deceptive, for example, overconfidence of the classifier relative to the actual error rate. Utilizing a small dataset while having the knowledge of the test task and test conditions, we are capable of updating the model for an improved performance. In the work, we give an overview of such model updates and propose new loss functions, namely Direct Loss and Integral Loss that allow for improvements in a more specialized manner based on the test task. We show the performance of these loss functions in combinations with certain calibration parametrizations on number of realistic experiments, which include non 0/1 loss matrices and prior shift adaptation.