Tvorba stage vrstvy datového skladu (DWH) na bázi metadat v prostředí datové platformy Databricks v cloudu - případová studie

Abstract

Tato bakalářská práce se zabývá konceptem moderních datových skladů v cloudu se zaměřením na platformu Databricks a zkoumá ji z hlediska vývojáře a práce s metadaty. V rámci práce je vytvořena stage vrstva datového skladu s načítáním, transformací, historizací a kontrolou kvality dat s pomocí dostupných nástrojů a následně jsou zhodnoceny výhody a nedostatky oproti tradičním datovým skladům. Jsou porovnány frameworky dbt a DLT a jejich rozdílné vlastnosti. Je zjištěno, že framework dbt poskytuje přehlednější prostředí a rozdělení funkcionalit do individuálních modulů, které napomáhá lepšímu porozumění ze strany vývojářů nezkušených s tímto frameworkem. Výsledky této práce umožňují podnikům a vývojářům, kteří zvažují modernizaci datového skladu do oblasti cloudu, udělat informované rozhodnutí o vhodnosti, nákladech a přínosech takového kroku, případně zvolit vhodný framework pro své řešení. V příloze práce se nachází zdrojové kódy, které vznikly v rámci implementace stage vrstvy datového skladu.

This thesis explores the concept of modern data warehouses in the cloud, focusing on the Databricks platform and examining it from a developer and metadata perspective. The thesis develops a staging layer of the data warehouse with data loading, transformation, historization and quality control using available tools and evaluates the advantages and disadvantages compared to traditional data warehouses. A comparison is made between the dbt and DLT frameworks and their different features. In the final assessment, it is determined that the dbt framework provides a clearer environment and a division of functionality into individual modules, making it easier for developers unfamiliar with the framework to understand it. The results of this work will enable organisations and developers considering moving their data warehouse to the cloud to make an informed decision about the suitability, costs and benefits of such a move, or to choose an appropriate framework for their solution. The source code created during the implementation of the data warehouse stage layer is available in the appendix of the thesis.