Návrh a prototypová implementace logovacího frameworku pro nástroj Manta

Abstract

Tato bakalářská práce se zabývá návrhem a prototypovou implementací systému pro zpracovávání logů, které jsou vygenerovány aplikacemi české firmy Manta. Manta vyvýjí software pro analýzu a tvorbu data lineage datových skladů a jiných úložišť dat. Tvorba data lineage pro dostatečně velká úložiště dat je dlouhý proces, během kterého je vygenerováno velké množství logů. Logy jsou uloženy v textových souborech, které mohou narůst do velikostí pro člověka nezpracovatelných. Analýza logů a řešení problémů, které popisují, se proto stává více a více náročná. Tato práce analyzuje problémy s aktuálním řešením logování v Mantě a požadavky na nový systém z toho pramenící. V analytické části práce je rešerše existujících řešení všech aspektů log managementu - samotné logování, přenos logů do centralizovaného úložiště a ukládaní přenesených logů takovým způsobem, aby zefektivnil jejich analýzu. Výstupem této práce jsou prototypové implementace logovacího API, které umožní vývojářům jednoduše obohatit logy o další důležité informace, a webové aplikace umožňující vygenerované logy prohlížet, filtrovat a dále s nimi manipulovat.

This thesis describes design and prototypical implementation of a log management solution for the application ecosystem of a Czech company Manta. Manta is specialized in developing software that analyzes and produces data lineage of data warehouses and other data stores. The process of building data lineage for large enough data stores is a long process that naturally produces a large amount of logs. Due to this the log analysis becomes a very difficult process for people because the logs are stored in text files which can grow to a significant size for a human reader. This thesis therefore analyzes the issues with the previous solution and the requirements stemming from it. In the analytical part of the thesis are analyzed existing solutions for different aspects of log management - logging itself, transport to a centralized location and persisting the transported data in a way that simplifies the log analysis. The output of this thesis are prototypes of a logging API that enables developers to enhance logs with additional data that are stated in the requirements and a web application that facilitates access and other operations with logs for the end user.