Automatická explorační analýza dat pro binární klasifikaci pomocí knihovny pandas profiling

Abstract

Práce se zabývá automatickou explorací dat s binární klasifikací. Je provedena rešerše již existujících řešení pro automatickou exploraci dat. Dále jsou prozkoumány statistické testy a metody vhodné pro testování závislosti dvou proměnných. Jsou zde také prozkoumány vhodné možnosti vizualizací rozložení dat. V další části je navrženo rozšíření do knihovny \textit{Pandas Profiling}, která byla vybrána v rešerši. Rozšíření se specializuje na binární klasifikaci. Rozšíření obsahuje grafy a statistiky reprezentující závislost sloupců na cílové proměnné, vizualizaci závislostí chybějících hodnot na cílové proměnné, navržené transformace sloupců a trénování výchozího modelu pro~klasifikaci cílové proměnné. Na základě návrhu bylo implementováno rozšíření knihovny \textit{Pandas Profiling}, které urychlí exploraci dat s binární klasifikací.

This work deals with automatic data exploration with binary classification. A search of already existing solutions for automatic data exploration is performed. Furthermore, statistical tests and~methods suitable for testing the dependence of two variables are investigated. Suitable options for~data distribution visualizations are also explored. In the next section, an extension to~the~\textit{Pandas Profiling} library selected in the search is proposed. The extension specializes in~binary classification. The extension includes graphs and statistics representing the dependency of~columns on the target variable, visualization of the dependency of missing values on~the~target variable, proposed column transformations and training of the default model for target variable classification. Based on the design, an extension to the \textit{Pandas Profiling} library was implemented to speed up data exploration with binary classification.