Sémantické shlukování dat z Twitteru

Abstract

Zabýváme se úlohou sémantického shlukování na podkladě 203K tweetů zveřejněných na Twitteru v českém jazyce. Zkoumáme modely neuronových sítí pro převod textových dat do vektorů nesoucích sémantickou informaci. Vyvinuli jsme softwarový nástroj, který doplňuje syntaktické vyhledávání o různé sémantické metody nacházející obsahově související tweety. S jeho použitím jsme anotovali 18K tweetů a tím vytvořili datovou sadu 65 skupin adresujících konkrétní veřejně významná témata. Na jejím základě jsme vyhodnocovali více metod automatického shlukování. Vytvořili jsme též seznam klíčových lemat, které tématicky charakterizují nalezené shluky.

We address the task of semantic clustering, using 203K tweets published at Twitter in the Czech language. We investigated neural networks models for converting text data into vectors that encode semantic information. We developed a software tool that augments syntactic search by multiple semantic methods for finding content-related tweets. Using the tool, we annotated 18K tweets and created a dataset of 65 clusters on particular publicly relevant topics. We based evaluation of multiple automatic clustering methods on the dataset. We also created a list of key lemmas characterizing the automatically found clusters.