Využití moderních distribuovaných systémů ukládání dat pro archivaci obrazové informace

Abstract

Distribuované systémy jako Apache Hadoop jsou optimalizovány především pro operace čtení. My generujeme velké množství dat, která musíme efektivně archivovat a dále zpracovat, a proto vyžadujeme zejména stálý výkon operací zápisu, který neklesá s množstvím zapsaných dat. Na výběr máme z řady distribuovaných systémů, jež lze nasadit na komoditní hardware. Tyto systémy nabízejí škálovatelnost nejen zátěže systému, ale také hardwarových zdrojů a úložné kapacity. Samozřejmostí je také dostupnost po celý čas a odolnost vůči selhání síťové komunikace nebo části uzlů. Zaměříme se na popis těchto distribuovaných systémů a porovnání jejich výhod a nevýhod. Navrhneme řešení a vybrané distribuované úložiště propojíme s výchozím systémem archivace experimentálních dat. Získáme tak decentalizovaný systém, který je škálovatelný, dostupný, odolný vůči selhání a který je vhodný nejen pro účely archivace experimentálních dat malého objemu, ale také pro archivaci rozsáhlých obrazových a jiných dat.

Distributed systems such as Apache Hadoop are optimized primarily for read operations. We generate a large amount of data that we need to efficiently archive and process, and we therefore require a steady performance of write operations that does not drop with the amount of data written. We can choose from a range of distributed systems that can be deployed on commodity hardware. These systems offer scalability not only for system load, but also for hardware resources and storage capabilities. Of course, all-time availability and resilience to network communications or parts of nodes are commonplace. We will focus on describing these distributed systems and comparing their advantages and disadvantages. We will design the solution and link the selected distributed storage to the default archive of experimental data. We gain a decentralized system that is scalable, available, fail-safe, and is not only suitable for archiving small volume experimental data but also for archiving large image and other data.