Aplikace pro získávání dat z logů

Abstract

Tato bakalářská práce se zabývá návrhem a vývojem systému pro prohledávání a agregaci log souborů a generováním událostí na základě nalezených dat. V první části je popsána architektura tohoto systému, příkladové případy užití, požadavky na tento systém, popis uživatelů systému a zvolené technologie. Na základě výsledků první části, je ve druhé části popsán proces implementace jednotlivých komponent systému, rozhraní jejich komunikace a popis vyhledávání a zpracování výsledků indexovacího nástroje. Vyvinutými komponentami jsou RESTful Java API, které zpracovává požadavky klientské aplikace, vytváří vyhledávací objekty na indexovací nástroj a generuje události na základě nalezených dat. Dále byla vyvinuta klientská aplikace sloužící k interakci s uživatelem a zpracování výsledků vrácených systémovým RESTful API. Systémové RESTful API bylo implementováno v jazyce Java, klientská aplikace v AngularJS 2. Jako indexovací nástroj byl zvolen Elasticsearch. Celý systém byl otestován a popis průběhu testování a zvolené testovací metody, jak automatického, tak manuálního testování, jsou popsány ve třetí kapitole. Proces nasazení systému do produkčního či testovacího prostředí je popsán ve čtvrté kapitole. V této kapitole je popsána kontejnerizace jednotlivých komponent systému nástrojem Docker a propojení jejich komunikace. V závěru je diskutována budoucnost systému a další možná rozšíření.

In this bachelor thesis I am solving the design and development of a system for searching and aggregation of log files and generating events based on the data found. In the first part is described the architecture of this system, examples of use cases, requirements for this system, description of the system users and the selected technologies. Based on the results of the first part, the second part describes the process of implementation of the individual components of the system, the interface of their communication and a description of the search and processing of the results of the indexing tool. Developed components are the RESTful Java API that handles client application requests, creates search objects for an indexing tool, and generates events based on the data found. In addition, a client application was developed to interact with the user and process the results returned by the system's RESTful API. System RESTful API was implemented in Java, the client application in AngularJS 2. Elasticsearch was chosen as the indexing tool. Proces of the deployment of the system to the production or testing environment is described in Chapter 4. In this chapter is described how to containerize each component of the system with the Docker and link their communications. In the end, the future of the system and other possible extensions are discussed.