Analýza dotazů v distribuované grafové databázi

Abstract

Přestože dnes existuje několik produktů grafových databází určených pro distribuovaná prostředí, jsou v nich obvykle data distribuována na jednotlivé fyzické uzly náhodně, bez pozdější revize zatížení a možné reorganizace dat. Tato práce analyzuje současné praktiky ukládání dat v distribuovaných grafových databázích. Podle této analýzy práce navrhuje a implementuje nový modul pro grafový výpočetní framework TinkerPop, který loguje provoz vygenerovaný dotazy uživatelů. Je rovněž naimplementována samostatná aplikace pro ukládání takovýchto logovaných dat do databáze JanusGraph. Tento program rovněž spouští redistribuční algoritmus navrhující efektivnější uložení dat v clusteru. Existující algoritmus od Vaquera a spol., kompatibilní se systémem Pregel, je aplikován s podstatnými rozšířeními. Výsledkem je návrh reorganizace dat s 70-80% zlepšením komunikace mezi uzly clusteru. Takovýto výsledek je porovnatelný s jinou známou metodou Ja-be-Ja, která však vyžaduje výrazně vyšší výpočetní prostředky. Na druhou stranu metoda v této práci zavádí malou disbalanci na uzlech clusteru. Nakonec tato práce uvádí doporučení pro možná budoucí rozšíření a vylepšení.

Although products of graph databases intended for distributed environments already exist, the data are usually distributed randomly on particular physical hosts without any subsequent load examination and possible data reorganization. This thesis analyses the current practices of data storage in distributed graph databases. According to this analysis, it designs and implements a new module of the general graph computing framework TinkerPop for logging the traffic generated with user queries. A separate implementation for storage of such logged data in the JanusGraph database is provided. It also executes a redistribution algorithm proposing a more efficient distribution of data. An existing Pregel-compliant algorithm of Vaquero et al. with substantial enhancements is applied. Results with 70-80% improvement of communication among physical hosts of the cluster are obtained, which is comparable to another well-known method Ja-be-Ja with much higher computational demands. On the other hand, the method in this thesis imposes a necessary slight imbalance of the cluster nodes. Finally, this thesis introduces suggestions for future extensions and enhancements.