Čištění dat pomocí pravděpodobnostního programování

Abstract

Práce zahrnuje rešerši z oblasti čištění a doplňování datových sad a zaměřuje se na konkrétní přístup s využitím pravděpodobnostního programování. Pro praktickou část práce je využíván pravděpodobnostní programovací jazyk PClean naprogramovaný v jazyce Julia. Jsou vysvětleny principy, na kterých funguje, a popsány konkrétní části nutné pro sepsání programu. Následně je v PClean napsán program pro doplnění a opravu hodnot v datové sadě se záznamy automobilů (cena, výkon, palivo, atd.) S touto opravenou sadou dat se provádí odhad ceny za pomocí regrese a kvalita výsledku se porovnává s výsledky při použití neupravených dat se sjednocenou doplňovanou hodnotou pro každý sloupec, anebo doplněných na základě odborných znalostí. Model naučený daty doplněných s PClean nedosahuje kvalit modelu založeného na odborných znalostech. Ale na druhou stranu PClean nabízí rychlý způsob doplnění chybějících kategorických hodnot s kvalitou přesahující dnes běžně používané triviální doplnění.

This paper includes research in the field of cleaning and filling in datasets and focuses on a specific approach using probabilistic programming. The practical part of the work operates with the probabilistic programming language PClean, programmed in Julia. The principles on which it operates are explained and the specific parts required to write the program are laid out. Subsequently, PClean is used to write a program for filling and correcting values in a data set with car records (price, power, fuel, etc.) Once this dataset is corrected, regression is used to estimate the price and the quality of the result is compared with the results based on uncorrected data with standardised added values for each column or added based on expert knowledge. The model learned the data via PClean does not achieve the qualities of the model based on expert knowledge. However, PClean does offer a fast way to fill in missing categorical values with a quality exceeding the trivial fill-in mechanism commonly used today.