Automatizované pipeliny pro analýzu dat
Automated data analysis pipelines
Typ dokumentu
diplomová prácemaster thesis
Autor
Michael Vrána
Vedoucí práce
Křikava Filip
Oponent práce
Donat-Bouillud Pierre
Studijní obor
Systémové programováníStudijní program
InformatikaInstituce přidělující hodnost
katedra teoretické informatikyPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Pipeliny pro analýzu dat popisují datovou analýzu, jako sekvenci na sobě závisejících kroků. Tyto pipeliny jsou reproducibilní a lze je vyhodnocovat efektivně. Tato práce se zabývá návrhem a implementací balíčku v jazyce R nazvaným Pipelinr, což je doménově specifický jazyk a runtime pro pipeliny pro analýzu dat. Navržené DSL umožňuje uživateli popsat pipeline jako množinu na sobě navazujících stagí. Dále umožňuje uživateli využívat různé komponovatelné vzory pro dynamické větvení, které umožňují rozpad stage na množinu úloh, jež lze parallelně spouštět pomocí GNU Parallel. Runtime nadále poskytuje metadata ohledně běhu pipeline, které lze využít jako vstup do pipeline samotné. Data analysis pipelines describe data analysis as a sequence of interdependent steps. These pipelines enable reproducibility and effective execution of the analysis. This thesis describes the design and implementation of an R package called Pipelinr, a domain-specific language and a runtime for data analysis pipelines. The designed DSL allows the user to describe the pipeline as a set of interdependent stages. Furthermore, it allows the user to use various composable dynamic branching patterns to break down a stage into a set of tasks, which can be executed in parallel using GNU Parallel. The runtime also provides the user with metadata about the pipeline's execution, which can also be used as input to the pipeline itself.
Kolekce
- Diplomové práce - 18101 [216]