Architektura systému zpracování senzorických proudových dat s využitím strojového učení

Abstract

Proces výběru vhodných nástrojů pro architekturu našeho IT systému je stále obtížnější. V moderních technologických trendech, jako je strojové učení a velká data, je snadné ztratit se v bezpočtu nástrojů použitených k našim účelům. Tato práce je příkladem toho, jak dlouhá může být analýza návrhu relativně jednoduchého, ale zároveň zatěžujících případů užití. Naším hlavním cílem je seznámit čtenáře s technologiemi běžně používanými pro budování špičkových systémů zpracování proudů dat. Tato práce vysvětluje obecné pojmy a trendy návrhu takové architektury a dále se specializuje na případy užití v reálném světě. Tyto případy užití zahrnují sběr, zpracování, ukládání a analýzu údajů ze senzorů. Po návrhu potenciální architektury a výběru vhodných nástrojů teoreticky vyhodnotíme a vybereme vhodné nástroje pro naše účely. Tyto nástroje jsou poté využity v návrzích různých konfiguracích systému. Z těchto možných konfigurací je jedna vybrána a dále vyhodnocena na reálných datech a scénáři.

The process of selecting proper tools for our IT system architecture becomes increasingly difficult. With modern technology trends, such as Machine Learning and Big Data, it is easy to get lost in the myriad of tools capable of serving our purposes. This thesis exemplifies how thorough analysis for designing a relatively simple yet demanding use case can be. Our main goal is to familiarise the reader with technologies commonly used for building cutting-edge stream processing system. This thesis explains general concepts and trends of designing such architecture and is further specialised for real-world use cases. These use cases involve sensor data collection, processing, storage and analysis. After drafting potential architecture and selecting appropriate tools, we theoretically evaluate and select well-suited tools for our purposes. These tools are then suggested for use in various system configurations. Out of these possible configurations, one is selected and evaluated further on real-life data and scenario.