Zjišťování trendů ve společnosti pomoci jazykových modelů

Abstract

Tato diplomová práce zkoumá nový přístup k zachycování trendů a veřejného mínění pomocí velkých jazykových modelů trénovaných na různorodých internetových datech. Studie zahrnuje shromažďování a zpracování dat, automatizaci těchto úkolů pomocí cloudového řešení, fine-tuning open-source jazykových modelů a vytvoření datasetu založeného na událostech pro hodnocení jejich schopnosti analyzovat společenské trendy a změny ve veřejném mínění. Výkonnost modelů je hodnocena pomocí vlastní testovací metriky, která zkoumá jejich schopnost identifikovat a interpretovat trendy a názory v čase.

This thesis investigates a novel approach to capturing trends and public opinions by leveraging large language models trained on diverse internet data sources. The study encompasses the entire pipeline, including data scraping and processing, automating these tasks through a cloud-based solution, fine-tuning open-source language model architectures, and developing an event-based dataset to evaluate their ability to analyze societal trends and shifts in public sentiment. The evaluation process includes a custom test metric designed to assess the models performance in identifying and interpreting trends and public opinions over time.