Nástroj pro detekci licencí a podmínek použití na webu

Abstract

Tato bakalářská práce se zaměřuje na automatizovanou detekci a zpracování licencí a podmínek použití na webových stránkách. Výsledkem je nástroj, který kombinuje web scraping, zpracování přirozeného jazyka a moderní jazykové modely pro identifikaci a analýzu těchto dat. Nástroj je vytvořen jako Python knihovna, jejíž funkce jsou prezentovány na prototypu webové aplikace. Schopnost nástroje detekovat jednotlivé licence je testována jak na reálných datech tak na datech vygenerovaných. Rovněž jsou v práci testovány výstupy jazykových modelů a to metrikami ROGUE, BERTScore a Faithfulness.

This bachelor's thesis focuses on the automated detection and processing of licenses and terms of service on websites. The outcome is a tool that combines web scraping, natural language processing, and modern language models to identify and analyze such data. The tool is implemented as a Python library, with its functionalities demonstrated on a prototype web application. The tool's ability to detect individual licenses is tested on both real and synthetic data. Furthermore, the outputs of language models are evaluated using the ROUGE, BERTScore, and Faithfulness metrics.