Návrh a implementace konektoru cloudového nástroje do systému manta

Abstract

Bakalářská práce se zaměřuje na implementaci prototypu skeneru, který je začleněn do softwaru Manta. Prototyp skeneru se specializuje na analýzu transformací dat uložených v databázích, které s nimi nástroj Fivetran vykonává. K tomu prototyp využívá metadata poskytnutá nástrojem Fivetran. Skener metadata zpracovává a načítá do interního datového modelu, který následně využije pro sestavení grafu reprezentujícího tok dat skrze nástroj Fivetran. Graf je využit softwarem Manta, který z něj vytvoří vizualizaci datového toku. Součástí práce je i analýza nástrojů Fivetran a Looker, ve které jsou popsány veškeré transformace, které s daty nástroje vykonávají.

The work focuses on the implementation of a prototype scanner for the Manta tool. The prototype specializes in the analysis of database transformations performed by the Fivetran tool, in order to visualize them. The scanner achieves this by analyzing the metadata which loads into an internal data model. It then processes the data model and uses it to build a graph describing the data transformations. The Manta tool uses this graph for their visualization. The work also includes an analysis of the Fivetran and Looker tools describing all the transformations they perform with the data.