Empirické vyhodnocení metod pro odhad důvěryhodnosti predikce v neuronových sítích

Abstract

Tato bakalářská práce představuje komplexní empirické zhodnocení metod odhadu prediktivní spolehlivosti v neuronových sítích, se zaměřením na techniky odhadu nejistoty, které vyžadují trénování další neuronové sítě nad již předtrénovaným prediktorem. Zkoumáno je pět reprezentativních přístupů: maximální pravděpodobnost třídy (Maximum Class Probability, MCP), pravděpodobnost správné třídy (True Class Probability, TCP), regrese klasifikační chyby, ztrátová funkce SELE (Selective Classifier Learning) a binární křížová entropie (Binary Cross-Entropy, BCE). Hodnocení probíhá jak na syntetických datových sadách kde lze analyticky určit skutečnou nejistotu tak i na reálných benchmarkových úlohách, konkrétně MNIST a CIFAR-10. Analýza je zasazena do rámce selektivní klasifikace, přičemž kvalita odhadů nejistoty je měřena pomocí metriky plocha pod křivkou riziko-pokrytí (Area under the Risk-Coverage Curve, AuRC). Výsledky ukazují, že ztrátové funkce SELE a BCE konzistentně poskytují přesnější pořadí predikcí podle rizika, zejména v režimech s omezeným množstvím trénovacích dat. Naopak metody založené na TCP a regresi jsou citlivější na architekturu a výkonnost základního klasifikátoru a vykazují zlepšení především v případě silnějších modelů. Práce dále zkoumá vliv velikosti trénovací množiny a způsobu rozdělení dat mezi klasifikátor a odhadce nejistoty na celkovou výkonnost, čímž odhaluje zásadní kompromisy mezi optimalizací přesnosti klasifikace a kalibrací nejistoty. Závěry naznačují, že metody optimalizované přímo pro seřazení predikcí dle rizika zejména SELE a BCE představují robustní a datově efektivní řešení pro rozhodování v neuronových sítích s ohledem na nejistotu.This thesis presents a comprehensive empirical evaluation of methods for estimating predictive confidence in neural networks, with a focus on uncertainty estimation techniques that require training an additional neural network on top of a pre-trained predictor. Five representative approaches are examined: Maximum Class Probability (MCP), True Class Probability (TCP), regression loss, Selective Classifier Learning (SELE) loss, and Binary Cross-Entropy (BCE) loss. The evaluation spans both synthetic datasetswhere ground-truth uncertainty is analytically availableand real-world benchmarks, namely MNIST and CIFAR-10. The analysis is framed within the selective classification paradigm, employing metrics such as the Area under the Risk-Coverage Curve (AuRC) to assess the quality of uncertainty estimates. Results show that SELE and BCE losses consistently provide superior risk-based rankings of predictions, particularly in low-data regimes. In contrast, TCP and regression-based methods are more sensitive to the architecture and performance of the underlying classifier, showing improvement primarily when supported by stronger base models. The study also investigates how training set size and data allocation between the classifier and uncertainty estimator influence overall performance, revealing trade-offs between optimizing classification accuracy and uncertainty calibration. These findings suggest that methods directly optimized for risk-based rankingparticularly SELE and BCEconstitute robust, data-efficient solutions for uncertainty-aware decision-making in neural networks.