Analýza datových toků v SQL skriptech dialektu Databricks

Abstract

Tato diplomová práce zkoumá dialekt Databricks SQL a navrhuje metodu automatické analýzy skriptů a prototyp skeneru pro nástroj Manta, který se zabývá data lineage. Data lineage je nezbytná pro integritu a správu dat. Výsledky výzkumu zahrnují komplexní analýzu datového toku v Databricks SQL, návrh a implementaci prototypu skeneru a důkladné testování. Tato práce rozšiřuje schopnosti nástroje Manta v práci se systémy Databricks a poskytují cenný analytický nástroj pro organizace, které spoléhají na Databricks SQL pro zpracování dat.

This thesis investigates the Databricks SQL dialect, proposing an automatic script analysis method and a prototype scanner unit for Manta, a data lineage tool. Data lineage is essential for data integrity and governance. The research outcomes include a comprehensive data flow analysis in Databricks SQL, the prototype scanner unit design and implementation, and thorough testing. Our contributions enhance Manta's ability to work with Databricks systems, providing a valuable analytic tool for organizations relying on Databricks SQL for data processing.