Využití distribuovaných databázových systémů pro správu vektorových dat v GIS

Abstract

Cílem práce je návrh řešení pro zpracovaní vektorových dat velkého objemu z prostředí GRASS GIS a~jeho implementace. V práci jsou popsány principy systému Hadoop a~jeho komponent. Dále text navazuje rešerší nastrojů, které umožňují prostorové analýzy s~využi\-tím systému Hadoop a jejich porovnáním. Závěr první kapitoly se zabývá sezná\-mením s~cloudovými řešeními pro konfiguraci a spuštění Hadoop clusteru. V rámci praktické časti byl implementován GRASS Hadoop Framework, který obsahuje moduly umožňující komunikaci mezi GRASS a Hadoop/Hive. Tímto nástrojem se ovládají knihovny umožňující prostorové analýzy s využitím Hadoop a je zajištěna konverze vektorových map, jejich přenos a správa tabulek v databázi. Pro správu účtů jednotlivých připojení je implementován modul s SQL rozhraním. Vytvořený nástroj byl otestován nad datasetem OpenStreetMap pro území Evropy, kde bylo zpracováno a vizualizováno 1.3 miliardy bodů z prostředí GRASS GIS.

The goal of the presented thesis lies in the design and development of workflow for management and processing of big spatial data within GRASS GIS environment. The thesis explains necessary fundamentals to understand aspects of Hadoop ecosystem. After that, the distributed spatial processing is analyzed as well as available spatial frameworks for Hadoop. Moreover, the configuration and deployment of Hadoop cluster using cloud platform is provided. Several command line modules for interaction between GRASS and Hadoop/Hive are implemented in developed GRASS Hadoop Framework. The framework allows controlling Hadoop spatial libraries using GRASS. The connection manager for different drivers is also included. Therefore, both side data conversion put/get data to HDFS and Hive table management is provided. As a selected case of developed framework the Europe extraction of Open Street Map history dataset, which included approx. 1.3 billions of points, has been processed and visualized from GRASS GIS.