Comparative analysis of binary classification algorithms

Abstract

GALIMZIANOVA, Zulfiia: Srovnávací analýza binárních algoritmů klasifikace. [Diplomová práce] - České vysoké učení technické v Praze. Fakulta elektrotechnická, Katedra informatiky. Vedoucí práce: Ing. Miroslav Bureš, Ph.D. V této práci je navržena nová modifikace algoritmu SVM, který využívá nový termín regularizace. Navrhujeme formulovat omezení klasifikačního modelu jednotným způsobem a efektivně ukázat algoritmus pro nalezení řešení nového optimalizačního problému. Výkon byl porovnán se základním algoritmem SVM na veřejné datové sadě. Experimenty byly prováděny podle schématu cross-validace Monte-Carlo a výkonnostní metriky byly zvoleny jako přesnost, vyvolání, přesnost a skóre f1. Analýza výpočetního výkonu byla provedena z hlediska počtu iterací, které algoritmy potřebovaly ke konvergenci. Výsledné metrické vektory byly porovnány s použitím Wilcoxonova podepsaného hodnostního testu pro zjištění statistické významnosti nálezů. Naše výsledky z veřejného datového souboru ukázaly statisticky významné zlepšení jak z hlediska přesnosti, tak z hlediska výpočtového výkonu oproti základnímu algoritmu SVM. Metoda má proto potenciál být implementována v reálných aplikacích efektivním a nákladově efektivním způsobem.

GALIMZIANOVA, Zulfiia: Comparative analysis of binary classification algorithms. [Master Thesis] - Czech Technical University in Prague. Faculty of Electrical Engineering, Department of Computer Science. Supervisor: Ing. Miroslav Bureš, Ph.D. In this work a new modification of the SVM algorithm that employs a new regularization term is proposed. We propose to formulate the constraints of the classification model in a uniform manner and demonstrate an algorithm to find the solution of the new optimization problem in an efficient manner. The performance was compared to the baseline SVM algorithm on a public dataset. The experiments were conducted following the Monte-Carlo cross-validation scheme and the performance metrics were chosen as accuracy, recall, precision, and f1-score. The computational performance analysis was done in terms of the number of iterations that was required by the algorithms to converge. The resulting metrics vectors were compared using Wilcoxon's signed rank test to identify the statistical significance of the findings. Our results on a public dataset demonstrated statistically significant improvements both in terms of accuracy and computational performance over the baseline SVM algorithm. As such, the method has the potential to be implemented in real-world applications in an effective and cost-efficient manner.