Automatizované pipeliny pro analýzu dat

Abstract

Pipeliny pro analýzu dat popisují datovou analýzu, jako sekvenci na sobě závisejících kroků. Tyto pipeliny jsou reproducibilní a lze je vyhodnocovat efektivně. Tato práce se zabývá návrhem a implementací balíčku v jazyce R nazvaným Pipelinr, což je doménově specifický jazyk a runtime pro pipeliny pro analýzu dat. Navržené DSL umožňuje uživateli popsat pipeline jako množinu na sobě navazujících stagí. Dále umožňuje uživateli využívat různé komponovatelné vzory pro dynamické větvení, které umožňují rozpad stage na množinu úloh, jež lze parallelně spouštět pomocí GNU Parallel. Runtime nadále poskytuje metadata ohledně běhu pipeline, které lze využít jako vstup do pipeline samotné.

Data analysis pipelines describe data analysis as a sequence of interdependent steps. These pipelines enable reproducibility and effective execution of the analysis. This thesis describes the design and implementation of an R package called Pipelinr, a domain-specific language and a runtime for data analysis pipelines. The designed DSL allows the user to describe the pipeline as a set of interdependent stages. Furthermore, it allows the user to use various composable dynamic branching patterns to break down a stage into a set of tasks, which can be executed in parallel using GNU Parallel. The runtime also provides the user with metadata about the pipeline's execution, which can also be used as input to the pipeline itself.