Rozvoj systému Manta Checker DFP

Abstract

Manta Checker je nástroj pro automatickou kontrolu kódu ve velkých datových skladech. Modul datových toků této aplikace využívá paradigmatu programování pomocí datových toků (DFP), díky němuž mohou aplikaci využívat i uživatelé s menšími technickými znalostmi. Povaha datových toků uvnitř modulu umožňuje jednoduchou vizualizaci jednotlivých pravidel, podle nichž se dělá kontrola kódu, a také jejich vylepšování. Tato práce dále rozšiřuje zmíněný modul datových toků o vylepšený typový systém, dále implementuje logování do interpretu datových toků a umožňuje zobrazení těchto logů přímo na grafu těchto toků, což je nový přístup v debugování DFP aplikací.

Manta Checker is an automated code review tool for large data warehouses. Its dataflow module is leveraging the dataflow programming paradigm (DFP), thus even a users with lesser technical skills can use the application. The dataflow nature of the module allows simple visualization of code review rules and their straightforward improvement. This thesis further extends the dataflow module with an enhanced type system, it implements means of logging into the DFP interpret and visualizes these logs directly on the DFP graph, which is a novel approach in debugging DFP applications.