Nástroj pro detekci vzorů v grafové databázi sloužící jako úložiště metadat pro zpracování data lineage

Abstract

Datové toky jsou tradičně zkoumány prostřednictvím zobrazení data lineage v grafickém uživatelském prostředí. Tato práce navrhuje inovativní přístup založený na automatické analýze vzorů datových toků za pomoci vyvinutého nástroje rules engine. V publikaci je předložen průzkum grafových databází se zaměřením na technologii Neo4j, která v Manta platformě slouží jako úložiště metadat. Práce nabízí detail konkrétních obchodních příležitostí pro obhájení přidané hodnoty vyvíjeného projektu. Dále je v práci navržen a implementován prototyp vyhodnocovacího nástroje. Jeho hlavní část zodpovídající za spuštění pěti vybraných pravidel je popsána detailněji se zaměřením na její výstupy, které jsou v podobě reportů následně srovnávány s manuálním zkoumáním v uživatelském prostředí Manty. Celý prototyp je na závěr vhodně otestován a ověřen s ohledem na jeho relevanci vůči různým typům zákazníků. Speciální pozornost je věnována výkonnosti konkrétních databázových dotazů napsaných v jazyce Cypher. Práce také kalkuluje s eventuálními možnostmi rozšíření a navrhuje další vylepšení, která by mohla být do tohoto nástroje v budoucnu implementována.

The traditional way of data flows inspection is a visual representation of data lineage in the graphical user interface. This work proposes an innovative approach to automatically analyzing data flows patterns by the developed rules engine tool. The thesis contains research of graph databases, aiming mainly on Neo4j, which is used as underlying storage in the Manta platform. To justify the project's business value, the work also includes a detailed list of specific use-cases. On this basis, the prototype of the rules engine is designed and implemented. The core part responsible for the execution of five selected rules is described, and the result reports are demonstrated and compared with manual inspection in the Manta user interface. Subsequently, the project is appropriately tested, focusing on performance testing of particular graph queries implemented in Cypher language. Eventually, the provided value of the rules engine for various types of customers is verified. Besides, the thesis introduces suggestions for future extensions and enhancements.