Návrh a prototypová implementace analýzy datových toků a procesů nástroje Matillion ETL do nástroje Manta
Design and prototype implementation of data flow analysis of jobs in Matillion ETL for the Manta project
Typ dokumentu
bakalářská prácebachelor thesis
Autor
Illia Krauchenia
Vedoucí práce
Valenta Michal
Oponent práce
Košvanec Petr
Studijní obor
Webové a softwarové inženýrstvíStudijní program
Informatika 2009Instituce přidělující hodnost
katedra softwarového inženýrstvíObhájeno
2023-02-14Práva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Tato práce si klade za cíl navrhnout a implementovat prototyp funkčního modulu, který provádí analýzu datových toků v cloudovém nástroji Matillion ETL. Vstupem pro analýzu jsou metadata, popisující elementy nástroje. Na základě analýzy implementovaný prototyp generuje graf, který vizualizuje datové toky. Návrh a implementace zajišťují bezproblémové připojení prototypu k platformě data lineage zvané Manta. První část práce představuje obecnou analýzu Matillion ETL, jeho klíčových prvků, způsobů exportu metadat, a také analýzu jejich formátu a struktury. Práce pak pokračuje částmi návrhu a implementace prototypu funkčního modulu a končí vyhodnocením a testováním jeho správné funkčnosti. Ukázky výsledných grafů datových toků vygenerovaných prototypem lze nalézt v příloze. This work aims to design and implement a prototype of a functional module that performs analysis of data flows in the cloud tool Matillion ETL. The input for the analysis is the metadata describing the tool elements. Based on the analysis, the implemented prototype generates a graph that visualizes data flows. The design and implementation ensure a seamless connection of the prototype to the data lineage platform called Manta. The first part of the work represents a general analysis of Matillion ETL, its key elements, ways to export metadata, as well as the analysis of its format and structure. The work then continues with the design and implementation parts of the functional module prototype and ends with the evaluation and testing of its correct functionality. Examples of the resulting data flow graphs generated by the prototype can be found in the appendix.
Kolekce
- Bakalářské práce - 18102 [1608]