Návrh a prototypová implementace logovacího frameworku pro nástroj Manta
Design and prototype implementation of a logging framework for Manta Flow
Type of document
bakalářská prácebachelor thesis
Author
Jakub Kováč
Supervisor
Valenta Michal
Opponent
Šebek Jiří
Field of study
SoftwareStudy program
Otevřená informatikaInstitutions assigning rank
katedra počítačůRights
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Show full item recordAbstract
Tato bakalářská práce se zabývá návrhem a prototypovou implementací systému pro zpracovávání logů, které jsou vygenerovány aplikacemi české firmy Manta. Manta vyvýjí software pro analýzu a tvorbu data lineage datových skladů a jiných úložišť dat. Tvorba data lineage pro dostatečně velká úložiště dat je dlouhý proces, během kterého je vygenerováno velké množství logů. Logy jsou uloženy v textových souborech, které mohou narůst do velikostí pro člověka nezpracovatelných. Analýza logů a řešení problémů, které popisují, se proto stává více a více náročná. Tato práce analyzuje problémy s aktuálním řešením logování v Mantě a požadavky na nový systém z toho pramenící. V analytické části práce je rešerše existujících řešení všech aspektů log managementu - samotné logování, přenos logů do centralizovaného úložiště a ukládaní přenesených logů takovým způsobem, aby zefektivnil jejich analýzu. Výstupem této práce jsou prototypové implementace logovacího API, které umožní vývojářům jednoduše obohatit logy o další důležité informace, a webové aplikace umožňující vygenerované logy prohlížet, filtrovat a dále s nimi manipulovat. This thesis describes design and prototypical implementation of a log management solution for the application ecosystem of a Czech company Manta. Manta is specialized in developing software that analyzes and produces data lineage of data warehouses and other data stores. The process of building data lineage for large enough data stores is a long process that naturally produces a large amount of logs. Due to this the log analysis becomes a very difficult process for people because the logs are stored in text files which can grow to a significant size for a human reader. This thesis therefore analyzes the issues with the previous solution and the requirements stemming from it. In the analytical part of the thesis are analyzed existing solutions for different aspects of log management - logging itself, transport to a centralized location and persisting the transported data in a way that simplifies the log analysis. The output of this thesis are prototypes of a logging API that enables developers to enhance logs with additional data that are stated in the requirements and a web application that facilitates access and other operations with logs for the end user.
Collections
- Bakalářské práce - 13136 [1124]