Optimalizace metod pro předzpracování dat pro co nejlepší klasifikaci
Optimizing of methods for data preprocessing for the best possible classification
Type of document
BAKALÁŘSKÁ PRÁCEBACHELOR THESIS
Author
Pancíř Jan
Supervisor
Jiřina Marcel
Opponent
Kordík Pavel
Field of study
Znalostní inženýrstvíStudy program
InformatikaInstitutions assigning rank
katedra aplikované matematikyDefended
2018-06-19Rights
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html.Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html.
Metadata
Show full item recordAbstract
Práce se zabývá zefektivněním procesu vytěžování znalostí z dat. Zaměřuje se na optimalizaci pořadí metod pro předzpracování dat a jejich parametrů pro daný klasifikátor. Byl navržen algoritmus, který vytvoří plán jak předzpracovat vstupní data, aby naučený klasifikátor dosahoval co nejvyšší přesnosti klasifikace. Pro optimalizaci a nalezení plánu byl využit genetický algoritmus. Byla vytvořena aplikace v jazyce Java implementující tento algoritmus, která nalezne plán předzpracování dat pro libovolný numerický dataset s použitím následujících metod předzpracování dat: diskretizace, normalizace, redukce dimenzionality, odstranění odlehlých hodnot, vyvažování tříd a doplnění chybějících hodnot. Výsledky byly testovány na několika reálných datasetech. Algoritmus zlepšuje přesnost klasifikace v průměru o 4-9 %. Jedná se o nástroj, který umožňuje plně zautomatizovat proces předzpracování dat. Případně lze využít jako pomocný nástroj pro znalostního experta při tvorbě plánu předzpracování dat. The thesis deals with the efficiency of the process of extracting knowledge from the data. It focuses on optimizing the order of pre-processing methods and their parameters for the specific classifier. An algorithm has been designed to create a plan to pre-process input data so that the learned classifier achieves the highest accuracy of classification. The genetic algorithm was used to optimize and find the plan. A Java application implementing this algorithm has been developed to find a pre-processing plan for any numerical dataset using the following data preprocessing methods: discretization, normalization, dimensionality reduction, remote values removal, class balancing and missing values imputation. The results were tested on several real datasets. The algorithm improves the classification accuracy by an average of 4-9 %. This is a tool that allows you to fully automate the pre-processing process. Eventually it can be used as a help tool for a knowledge expert to create a pre-processing plan.