Extrakce klíčových slov z textových shluků

Abstract

Vzhledem k nepřebernému množství dat, které mají lidé k dispozici, může automatické rozpoznávání témat nesmírně zrychlit jejich analýzu. V uplynulých letech bylo vynaloženo velké úsilí na vývoj nástrojů pro detekci témat ale většina těchto řešení byla konstruována pouze pro angličtinu. V této práci byly použity dva české datasety, jeden extrahován z Twitteru a druhý sestávající se z anotovaných novinových článků. Tato práce se zabývá detekcí témat pomocí Latentní Dirichletovy alokace a kombinací K-Means s metodami extrakce a generování klíčových slov. Více než 219 tisíc tweetů bylo seskupeno podle témat a zatímco při použití Latentní Dirichletovy alokace byl vrácen rovnou seznam témat, tak při použití K-means bylo nutné klíčová slova získat jiným způsobem. Experimentovala jsem s různými statistickými a grafovými metodami pro extrakci klíčových slov a také jsem pomocí anotovaných dat natrénovala model pro generování klíčových frází, která nemusí být přítomná v textu. Extrakce klíčových slov přinesla cenné výsledky bez ohledu na zvolený přístup a generování klíčových frází pomocí natrénovaného modelu v kombinaci s paprskovým prohledáváním také ukázalo velký potenciál. Tato zjištění mají široké spektrum aplikací od automatického označování textu po sumarizace.

With the tremendous amount of data people have at their disposal, automatic topic recognition can make analyzing it exceedingly faster. Much effort has been put into developing topic detection tools in past years, but most of those solutions have been constructed with the English language in mind. Using two Czech corpora, one scraped from Twitter and the other consisting of annotated news articles, this thesis delves into topic detection with Latent Dirichlet Allocation and a combination of K-Means and keyword extraction and generation. Over 219K tweets are clustered, and while the Latent Dirichlet Allocation results in a list of topics directly, I experiment with various statistical and graph-based methods to extract keywords from the K-Means clusters and use the annotated data set to train a model in generating keyphrases not present in the text. Keyword extraction produced valuable results regardless of the approach, and generating keyphrases with a trained model combined with diverse beam search showed great potential as well. These findings have a broad spectrum of applications, from automatic text tagging to document summarization.