Návrh a prototypová implementace analýzy datových toků a procesů nástroje Matillion ETL do nástroje Manta

Abstract

Tato práce si klade za cíl navrhnout a implementovat prototyp funkčního modulu, který provádí analýzu datových toků v cloudovém nástroji Matillion ETL. Vstupem pro analýzu jsou metadata, popisující elementy nástroje. Na základě analýzy implementovaný prototyp generuje graf, který vizualizuje datové toky. Návrh a implementace zajišťují bezproblémové připojení prototypu k platformě data lineage zvané Manta. První část práce představuje obecnou analýzu Matillion ETL, jeho klíčových prvků, způsobů exportu metadat, a také analýzu jejich formátu a struktury. Práce pak pokračuje částmi návrhu a implementace prototypu funkčního modulu a končí vyhodnocením a testováním jeho správné funkčnosti. Ukázky výsledných grafů datových toků vygenerovaných prototypem lze nalézt v příloze.

This work aims to design and implement a prototype of a functional module that performs analysis of data flows in the cloud tool Matillion ETL. The input for the analysis is the metadata describing the tool elements. Based on the analysis, the implemented prototype generates a graph that visualizes data flows. The design and implementation ensure a seamless connection of the prototype to the data lineage platform called Manta. The first part of the work represents a general analysis of Matillion ETL, its key elements, ways to export metadata, as well as the analysis of its format and structure. The work then continues with the design and implementation parts of the functional module prototype and ends with the evaluation and testing of its correct functionality. Examples of the resulting data flow graphs generated by the prototype can be found in the appendix.