Návrh a implementace analýzy datových toků v platformě StreamSets pro projekt Manta

Marek Burdeľ

Design and implementation of data flow analysis in the StreamSets platform for Manta project

Type of document

bakalářská práce
bachelor thesis

Author

Marek Burdeľ

Supervisor

Svitáková Lucie

Opponent

Hermann Lukáš

Field of study

Webové a softwarové inženýrství

Study program

Informatika

Institutions assigning rank

katedra softwarového inženýrství

Rights

A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.html
Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html

Metadata

Show full item record

Abstract

Cieľom tejto práce je preskúmať pohyby dát v prostredí StreamSets, navrhnúť a implementovať funkčný prototyp modulu, ktorý bude vykonávať dátovú analýzu nad StreamSets objektmi. Modul je spustitelný z projektu Manta, ktorý sa zameriava na poskytovanie analýzy dátových línií pre široké spektrum technológií. Výsledok dátovej analýzy je graf, ktorého uzly a hrany reprezentujú dátovú líniu v prostredí StreamSets. V rámci práce je navrhnutý algoritmus na rozpoznávanie a rozširovanie elementárnych objektov z prostredia StreamSets pre dosiahnutie výsledného grafu. Graf je možné zobraziť pomocou Manta projektu.

The purpose of this thesis is to research data movements in StreamSets platform, design, and implement a functional prototype module that will perform a data flow analysis for StreamSets objects. The module is executable from the Manta project, which focuses on providing data lineage analysis for a wide range of technologies. The result of the data analysis is a graph whose nodes and edges represent the data lineage in the StreamSets environment. The work proposes an algorithm for recognizing and extending elementary objects from the StreamSets environment to achieve the resulting graph. The graph can be displayed using the Manta project.