Zlepšení výkonu LLM prostřednictvím agentního přístupu v Retrieval-Augmented Generation

Abstract

Tato práce zkoumá přístupy k integraci používání nástrojů a agentních přístupů do systémů využívajících velkých jazykových modelů (\textit{large language model}, LLM). Představuje návrh a implementaci agentního LLM systému rozšířeného o funkcionalitu volání nástrojů pro zpracování geoprostorových dat. Hlavním cílem práce bylo vyvinout systém, který kombinuje schopnosti porozumění jazyku LLM s externími nástroji pro rozšíření jejich schopností v oblasti prostorové analýzy, vyhledávání dat a získávání znalostí. Vyvinutý systém nazvaný GeoChat Assistant umožňuje interaktivní dotazování nad uživatelem definovanou geografickou oblastí a dynamicky využívá specializované nástroje pro prostorové výpočty a získávání dat z webových mapových služeb (\textit{web map service}, WMS), veřejných API a dalších zdrojů geoprostorových dat. Je postaven na frameworku LangGraph, který orchestruje volání nástrojů, generování odpovědí a celkové rozhodování systému. Tato práce také vyhodnocuje efektivitu systému na vlastní datové sadě geoprostorových úloh, experimentuje s různými LLM a měří jejich vliv na výkonnost volání nástrojů a kvalitu odpovědí. GeoChat Assistant byl také testován experty z dané oblasti a sesbíral relevantní lidská ohodnocení svých schopností. Výsledky ukazují, že systémy LLM rozšířené o využívání nástrojů nabízejí výhody v oblasti doménově specifického uvažování a zpracování komplexních multimodálních dat.

This thesis explores the approaches for integrating tool use and agency into Large Language Model (LLM) systems. It presents the design and implementation of an agentic LLM system augmented with tools for geospatial data processing. The main objective was to develop a system that combines the language understanding capabilities of LLMs with external tools to enhance functionality in spatial analysis, data retrieval, and knowledge extraction. The developed system, called GeoChat Assistant, enables interactive querying over a user-defined geographical area and dynamically invokes specialized tools for spatial computations and data retrieval from Web Map Services (WMS), public APIs, and other geospatial data sources. It is built on the LangGraph framework, which orchestrates the tool use, response generation, and decision-making. This thesis also evaluates the systems performance on a custom dataset of geospatial tasks, experimenting with various LLMs and measuring their impact on tool calling performance and response quality. GeoChat Assistant was also tested by domain experts, collecting relevant human assessments of its capabilities. Results demonstrate that tool-augmented LLM systems offer advantages in domain-specific reasoning and handling complex, multimodal data.