Čištění dat pomocí pravděpodobnostního programování
Data cleaning with probabilistic programming
Typ dokumentu
bakalářská prácebachelor thesis
Autor
Tomáš Jungman
Vedoucí práce
Rybář Vojtěch
Oponent práce
Vašata Daniel
Studijní obor
Znalostní inženýrstvíStudijní program
Informatika 2009Instituce přidělující hodnost
katedra aplikované matematikyPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Práce zahrnuje rešerši z oblasti čištění a doplňování datových sad a zaměřuje se na konkrétní přístup s využitím pravděpodobnostního programování. Pro praktickou část práce je využíván pravděpodobnostní programovací jazyk PClean naprogramovaný v jazyce Julia. Jsou vysvětleny principy, na kterých funguje, a popsány konkrétní části nutné pro sepsání programu. Následně je v PClean napsán program pro doplnění a opravu hodnot v datové sadě se záznamy automobilů (cena, výkon, palivo, atd.) S touto opravenou sadou dat se provádí odhad ceny za pomocí regrese a kvalita výsledku se porovnává s výsledky při použití neupravených dat se sjednocenou doplňovanou hodnotou pro každý sloupec, anebo doplněných na základě odborných znalostí. Model naučený daty doplněných s PClean nedosahuje kvalit modelu založeného na odborných znalostech. Ale na druhou stranu PClean nabízí rychlý způsob doplnění chybějících kategorických hodnot s kvalitou přesahující dnes běžně používané triviální doplnění. This paper includes research in the field of cleaning and filling in datasets and focuses on a specific approach using probabilistic programming. The practical part of the work operates with the probabilistic programming language PClean, programmed in Julia. The principles on which it operates are explained and the specific parts required to write the program are laid out. Subsequently, PClean is used to write a program for filling and correcting values in a data set with car records (price, power, fuel, etc.) Once this dataset is corrected, regression is used to estimate the price and the quality of the result is compared with the results based on uncorrected data with standardised added values for each column or added based on expert knowledge. The model learned the data via PClean does not achieve the qualities of the model based on expert knowledge. However, PClean does offer a fast way to fill in missing categorical values with a quality exceeding the trivial fill-in mechanism commonly used today.
Kolekce
- Bakalářské práce - 18105 [295]