Optimalizace metod pro předzpracování dat pro co nejlepší klasifikaci

Abstract

Práce se zabývá zefektivněním procesu vytěžování znalostí z dat. Zaměřuje se na optimalizaci pořadí metod pro předzpracování dat a jejich parametrů pro daný klasifikátor. Byl navržen algoritmus, který vytvoří plán jak předzpracovat vstupní data, aby naučený klasifikátor dosahoval co nejvyšší přesnosti klasifikace. Pro optimalizaci a nalezení plánu byl využit genetický algoritmus. Byla vytvořena aplikace v jazyce Java implementující tento algoritmus, která nalezne plán předzpracování dat pro libovolný numerický dataset s použitím následujících metod předzpracování dat: diskretizace, normalizace, redukce dimenzionality, odstranění odlehlých hodnot, vyvažování tříd a doplnění chybějících hodnot. Výsledky byly testovány na několika reálných datasetech. Algoritmus zlepšuje přesnost klasifikace v průměru o 4-9 %. Jedná se o nástroj, který umožňuje plně zautomatizovat proces předzpracování dat. Případně lze využít jako pomocný nástroj pro znalostního experta při tvorbě plánu předzpracování dat.

The thesis deals with the efficiency of the process of extracting knowledge from the data. It focuses on optimizing the order of pre-processing methods and their parameters for the specific classifier. An algorithm has been designed to create a plan to pre-process input data so that the learned classifier achieves the highest accuracy of classification. The genetic algorithm was used to optimize and find the plan. A Java application implementing this algorithm has been developed to find a pre-processing plan for any numerical dataset using the following data preprocessing methods: discretization, normalization, dimensionality reduction, remote values removal, class balancing and missing values imputation. The results were tested on several real datasets. The algorithm improves the classification accuracy by an average of 4-9 %. This is a tool that allows you to fully automate the pre-processing process. Eventually it can be used as a help tool for a knowledge expert to create a pre-processing plan.