Návrh a implementace analýzy datových toků pro jazyk Pig v projektu Manta

Abstract

Získavanie dátových tokov z dat je veľmi obľúbený pojem v biznis sfére. Pre manažérov a pracovníkov veľkých korporácií, ktorí pracujú s veľkým množstvom informácií príde vhodné mať nástroj, ktorý im vizualizuje dátové zmeny a závislosti dát v nimi používaných technológiách. Nástroj takéhoto typu im umožní pracovať lepšie s dátami a zlepšiť efektivitu. Tvorbou takéhoto nástroja sa zaoberá projekt Manta, ktorý pre svoji zákazníkov poskytuje nástroj Manta Flow. Tento nástroj dokáže vizualizovať dátové toky pre množstvo známych technológií, avšak v momentálnej dobe neponúka podporu pre jazyk Pig Latin. Pig Latin je jazyk, ktorý sa používa v platforme Apache Pig a slúži na vytváranie programov, ktoré analyzujú a spracovávajú dáta. Preto je cieľom tejto práce je navrhnúť a implementovať modul vykonávajúci analýzu a zisk dátových tokov pre Pig Latin programy, ktorý je možné integrovať do nástroja Manta Flow. Tento modul má za úlohu vykonať syntaktickú a sémantickú analýzu kódu, a z jej výsledku generovať dátové toky vo forme grafu. Modul je navrhnutý a implementovaný, tak aby spolupracoval s Manta systémom, čo umožňuje jednoduchú integráciu toho modulu do nástroja Manta Flow. Práca obsahuje popis jazyka Pig Latin, dokumentácie návrhu a implementácie výsledného modulu, a taktiež popis procesu testovania modulu.

Getting data flows from data is a very popular concept in the business sphere. For managers and employees of large corporations who are working with a great deal of information, it is a good idea to have a tool that visualizes the data changes and data dependencies in the technologies used. A tool of this type will allow them to better work with data and improve efficiency. The creator of such a tool is Manta project, which provides the tool Manta Flow for its customers. This tool can visualize data flows for a number of well-known technologies, but currently does not offer Pig Latin support. Pig Latin is the language used in the Apache Pig platform to create programs that analyze and process data. Therefore, the aim of this paper is to design and implement a module for analysis and acquisition of data flows from Pig Latin programs that can be integrated into Manta Flow. This module performs syntactic and semantic code analysis and generates graph of data flows from the result. The module is designed and implemented to work with the Manta system, allowing for easy integration of this module into Manta Flow. The work contains a description of Pig Latin, documentation for the design and implementation of the resulting module, as well as a description of the module testing process.