Inkrementální update úložiště pro data lineage v grafové databázi

Abstract

Cílem této práce je analýza a implementace inkrementálních aktualizací úložiště data lineage v softwarovém nástroji Manta Flow. Obsahem této práce je studium současného úložiště data lineage v Manta Flow, zkoumání existujících řešení inkrementálních atualizací v systémech řízení verzí, zkoumání inkrementálního zálohování v databázích, analýza a návrh nového řešení inkrementálních aktualizací v Manta Flow a následná imlementace prototypu a provedení výkonnostního testování. Výsledný prototyp je možné nasadit do existujícího produktu Manta Flow, a tím řádově snížit časovou složitost aktualizací v úložišti data lineage.

The purpose of this thesis is to analyze and implement incremental updates of data lineage storage in the software tool Manta Flow. The basis of this work is the study of current data lineage storage in Manta Flow, research of existing solutions of incremental updates in version control systems, research of incremental backups in databases, analysis and design of a new solution of incremental updates in Manta Flow and a subsequent prototype implementation and performance testing execution. The resulting prototype can be deployed into the existing Manta Flow product, reducing time complexity of updates in data lineage storage in orders of magnitude.