Analýza datových toků v Google BigQuery skriptech

Abstract

Tato práce je zaměřena na analýzu datových toků v Google BigQuery skriptech a jejich reprezentaci. Nejprve popisuje přístupy, které se používají pro data lineage, analýzu zdrojového kódu a vizualizaci toku dat v systému Manta. Poté zkoumá technologii Google BigQuery, její databázové objekty a syntaxi jejího SQL dialektu. Pokračuje popisem architektury a návrhu implementovaného prototypu. Poslední kapitoly této práce jsou věnovány testování a prezentaci výstupů vytvořeného prototypového řešení.

This thesis is focused on the analysis of data flows for Google BigQuery scripts and their representation. Firstly, it describes the possible approaches to data lineage, source code analysis, and data flow visualization in the Manta system. It then examines the Google BigQuery technology, its database objects and SQL dialect syntax. It continues with design and architecture, which are used during the implementation of the prototype. The last chapters of this work are dedicated to testing and presenting the outputs of the created solution.