Automatická analýza změn v datech s využitím knihovny great expectations

Abstract

Tato práce se zabývá detekcí změn v datech. Pro zjišťování kvality dat již existují používané nástroje, jedním z nich je knihovna Great expectations. Mezi jejími funkcemi v době psaní této práce není přítomna detekce vícerozměrného driftu. Práce porovnává různé přístupy, které lze k tomuto účelu použít. Na základě výsledků tohoto srovnání je k rozšíření funkcí knihovny Great expectation použita analýza hlavních komponent.

This thesis concerns itself with the data drift detection. There are already existing and widely used data quality tools, one of them being Great expectations library. Among its features at the time of writing this thesis, multivariate drift detection is not present. The thesis compares different approaches that can be used for this purpose. Based on the results of this comparison, Principal component analysis is used to extend the features of the Great expectation library.