Návrh a implementace analýzy datových toků v platformě StreamSets pro projekt Manta

Abstract

Cieľom tejto práce je preskúmať pohyby dát v prostredí StreamSets, navrhnúť a implementovať funkčný prototyp modulu, ktorý bude vykonávať dátovú analýzu nad StreamSets objektmi. Modul je spustitelný z projektu Manta, ktorý sa zameriava na poskytovanie analýzy dátových línií pre široké spektrum technológií. Výsledok dátovej analýzy je graf, ktorého uzly a hrany reprezentujú dátovú líniu v prostredí StreamSets. V rámci práce je navrhnutý algoritmus na rozpoznávanie a rozširovanie elementárnych objektov z prostredia StreamSets pre dosiahnutie výsledného grafu. Graf je možné zobraziť pomocou Manta projektu.

The purpose of this thesis is to research data movements in StreamSets platform, design, and implement a functional prototype module that will perform a data flow analysis for StreamSets objects. The module is executable from the Manta project, which focuses on providing data lineage analysis for a wide range of technologies. The result of the data analysis is a graph whose nodes and edges represent the data lineage in the StreamSets environment. The work proposes an algorithm for recognizing and extending elementary objects from the StreamSets environment to achieve the resulting graph. The graph can be displayed using the Manta project.