Robojudge - analýza soudních rozhodnutí

Abstract

Práce se zabývá způsoby využití velkých jazykových modelů (large language model, LLM) k analýze veřejně dostupných rozhodnutí českých soudů. Hlavním cílem práce bylo lépe zpřístupnit tato rozhodnutí, a to vytvořením webové aplikace Robojudge, která umožní v databázi zveřejněných rozhodnutí vyhledávat pomocí nového typu uživatelského rozhraní využívajícího ve svém základu LLM k sémantickému vyhledávání, shrnování a odpovídání na otázky týkající se jednotlivých rozhodnutí. Za účelem výběru nejvhodnějšího LLM pro tyto úlohy byla vytvořena vlastní metodika, pomocí níž byly vybrané LLM porovnány ve svých schopnostech odpovídat na otázky týkající se konkrétních soudních rozhodnutí. Metodika použila k tomuto porovnání jiné LLM, které fungovalo jako hodnotitel a pomocí dotazníkového šetření bylo zvalidováno, že toto automatické hodnocení je srovnatelné s hodnocením, které dávali skuteční uživatelé. Výstupem práce je již zmíněná Robojudge aplikace, která automaticky stahuje zveřejňovaná soudní rozhodnutí do vektorové databáze, díky které je možné rozhodnutí vyhledávat pomocí přirozeného jazyka. Rozhodnutí jsou získávána pomocí "stahovače", který se periodicky spouští, aby udržoval obsah databáze co nejaktuálnější. Vyhledaná rozhodnutí jsou prezentována jako krátká shrnutí vytvořená pomocí LLM. Uživatel má také možnost se rychle a jednoduše dotazovat na obsah konkrétního rozhodnutí, opět prostřednictvím přirozeného jazyka.

The thesis explores how large language models (LLMs) can be used to analyze publically available court rulings of Czech civil courts. The main goal of the thesis was to make these rulings more accessible through the Robojudge web application which allows semantic search of the most similar rulings and presents them in an easy-to-understand way. To select the most appropriate LLM, a custom methodology was devised for comparing such models. This methodology involves evaluating responses from LLMs to legal questions by both human assessors and automatically through another model. Based on this methodology, the most suitable model was then selected. The outcome of the thesis is the aforementioned Robojudge web application that automatically retrieves publicly disclosed court rulings and stores them in a vector database, thus enabling the search of these rulings through natural language. The rulings are retrieved by a scraper that periodically runs itself to maintain the vector database up-to-date. Search results are then presented as concise summaries generated by an LLM. Additionally, users have the option to easily query the content of a specific court ruling, once again through natural language.