Klasifikace žurnalistické kvality článků

Abstract

Tato bakalářská práce se zabývá úkolem automatické klasifikace žurnalistické kvality článků v českém jazyce. Motivací je rostoucí objem digitálního obsahu, který redakčním týmům fakticky znemožňuje udržovat konzistentní úroveň kvality. Pro podporu automatizovaného hodnocení byl poskytnut anotovaný datový soubor českých článků od společnosti Seznam.cz, přičemž každý článek byl lidskými editory zařazen do jedné ze čtyř kategorií kvality - od nedostatečné až po vysokou kvalitu.

Práce zahrnovala důkladné předzpracování dat, včetně čištění a filtrování textu. Byla zjištěna výrazná nevyváženost tříd, která byla řešena pomocí několika technik, jako je vážení tříd a kombinované ztrátové funkce. Bylo implementováno několik modelů strojového učení, včetně modelů založených na transformerech, které byly doladěny pro úlohu klasifikace kvality, a modelu CatBoost, který byl trénován na lingvistických a strukturálních rysech textu. Nakonec byl navržen hybridní model, který kombinuje oba přístupy.

Vyhodnocení bylo provedeno pomocí metrik pro vícetřídní klasifikaci, přičemž hlavním ukazatelem výkonnosti byla vážená F1 míra. Konečný hybridní model dosáhl nejlepších výsledků, což potvrzuje, že kombinace hlubokých jazykových modelů s klasifikátory založenými na ručně navržených rysech může zvýšit přesnost předpovědi kvality. Výsledky ukazují potenciál automatizovaných nástrojů při podpoře redakčního rozhodování a zajištění kvality obsahu v prostředí s vysokým objemem dat.

This thesis explores the task of automatically classifying the journalistic quality of articles in the Czech language. The motivation stems from the increasing volume of digital content, which challenges the ability of editorial teams to maintain consistent quality. To support automated assessment, a labeled dataset of Czech articles was provided by Seznam.cz, with each article annotated by human editors into one of four quality categories ranging from insufficient to high-quality.

The work involved detailed data preprocessing, including text cleaning and filtering. Significant class imbalance was observed and addressed using several techniques such as class weighting and hybrid loss functions. Several transformer-based language models were fine-tuned for the quality classification task, and a CatBoost gradient boosting model was trained using a set of manually engineered linguistic and structural features. Finally, a hybrid model combining both approaches was introduced.

Evaluation was conducted using multi-class classification metrics, with weighted F1 score as the primary indicator of performance. The final hybrid model showed superior results, confirming that combining deep language models with feature-based classifiers can improve the accuracy of quality prediction. The results demonstrate the potential of automated tools to support editorial decision-making and ensure content quality at scale.