Sběr telemetrických dat, jejich analýza a representace

Abstract

Cílem této práce je vyhledávat, analyzovat a vizualizovat telemetrická data v reálném čase a protokolovat data z různých serverů za pomoci open-source nástrojů jako je Elasticsearch, Logstash a Kibana. Je komplikované sbírat data umístěná na mnoha různých serverech, vzhledem k množství dat, které se zvyšuje s velikostí sítě. Práce pojednává o konceptech centralizované telemetrie, a hledá vhodnou variantu ze stávajících softwarových řešení, aby bylo možné hledat a analyzovat problémy na serverech za delší časové období. Takové řešení je přínosné a klíčové v prostředí, které se skládá z velkého množství serverů a generuje stovky terabajtů dat denně. V dalších kapitolách se věnuji výhodám sběru a analýzy všech telemetrických dat z našeho vytvořeného systému. Konečné nastavení fungovalo správně a nevyžadovalo žádná další vylepšení našeho systému.

This thesis aims to search, analyse, and visualise real-time data in telemetry and log data from various servers using open source products such as Elasticsearch, Logstash, and Kibana. The log and data located on several different processing machines can be challenging to handle as the volume of data increases with the scale of software systems, networks, and services. This thesis discusses the concepts of centralised logging, telemetry, and existing software solutions for implementing such a system. It also allows you to search for problems across multiple servers by connecting their telemetry data over a specific period. These operations are valuable and essential in an environment with hundreds of containers producing terabytes of data per day. This thesis discusses the benefits of collecting and analysing all telemetry data from the newly created system. The finished framework and additional results from the implementation process are also described. The final setup worked well and did not necessitate any improvements to our system.