Zpracování velkých objemů dat s využitím distribuovaných architektur a vyvažování zátěže

Abstract

Moderní experimenty ve fyzice vysokých energií kladou veliké nároky na spolehlivost, efektivitu a rychlost přenosu dat systému pro sběr dat (DAQ). Tato disertační práce se zaměřuje na stabilitu inteligentního systému pro sběr dat založeného na FPGA (iFDAQ) na experimentu COMPASS v CERN. iFDAQ čerpá události vytvořené na úrovni hardwaru a je navroen tak, aby umožňoval čtení dat při maximální rychlosti přenosu dat z experimentu. Vylepšení stability iFDAQ se skládá z několika různorodých úkolů. Nejprve je prezentována nová komunikační knihovna DIALOG pro meziprocesovou komunikaci. Dále byl vyvinut DAQ Debugger sloužící k detekci chyb v iFDAQ. Stabilní iFDAQ dává příležitost k implementaci nepřetržitě běžícího módu pro iFDAQ běžícího 24/7 bez jediného zastavení. Nakonec je řešen problém vyvažování zátěže v iFDAQ pomocí dynamického programování (DP), hladové heuristiky (GH), celočíselného programování (ILP), genetického algoritmu (GA) a zpětnovazebního učení (RL).

This thesis focuses on the stability of the intelligent, FPGA-based Data Acquisition System (iFDAQ) of the COMPASS experiment at CERN. Firstly, the new communication library DIALOG is presented. Secondly, the DAQ Debugger is developed to help with the iFDAQ error detection. Then, the stable iFDAQ gives an opportunity to implement the iFDAQ continuously running mode running 24/7 without any stops. Finally, Load Balancing of the iFDAQ is solved using Dynamic Programming, Greedy Heuristic, Integer Linear Programming, Genetic Algorithm and Reinforcement Learning.