Extrakce klíčových slov z textových shluků
Extracting Keywords from Textual Data Clusters
Typ dokumentu
bakalářská prácebachelor thesis
Autor
Diana Korladinova
Vedoucí práce
Drchal Jan
Oponent práce
Šír Gustav
Studijní obor
Základy umělé inteligence a počítačových vědStudijní program
Otevřená informatikaInstituce přidělující hodnost
katedra kybernetikyPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Vzhledem k nepřebernému množství dat, které mají lidé k dispozici, může automatické rozpoznávání témat nesmírně zrychlit jejich analýzu. V uplynulých letech bylo vynaloženo velké úsilí na vývoj nástrojů pro detekci témat ale většina těchto řešení byla konstruována pouze pro angličtinu. V této práci byly použity dva české datasety, jeden extrahován z Twitteru a druhý sestávající se z anotovaných novinových článků. Tato práce se zabývá detekcí témat pomocí Latentní Dirichletovy alokace a kombinací K-Means s metodami extrakce a generování klíčových slov. Více než 219 tisíc tweetů bylo seskupeno podle témat a zatímco při použití Latentní Dirichletovy alokace byl vrácen rovnou seznam témat, tak při použití K-means bylo nutné klíčová slova získat jiným způsobem. Experimentovala jsem s různými statistickými a grafovými metodami pro extrakci klíčových slov a také jsem pomocí anotovaných dat natrénovala model pro generování klíčových frází, která nemusí být přítomná v textu. Extrakce klíčových slov přinesla cenné výsledky bez ohledu na zvolený přístup a generování klíčových frází pomocí natrénovaného modelu v kombinaci s paprskovým prohledáváním také ukázalo velký potenciál. Tato zjištění mají široké spektrum aplikací od automatického označování textu po sumarizace. With the tremendous amount of data people have at their disposal, automatic topic recognition can make analyzing it exceedingly faster. Much effort has been put into developing topic detection tools in past years, but most of those solutions have been constructed with the English language in mind. Using two Czech corpora, one scraped from Twitter and the other consisting of annotated news articles, this thesis delves into topic detection with Latent Dirichlet Allocation and a combination of K-Means and keyword extraction and generation. Over 219K tweets are clustered, and while the Latent Dirichlet Allocation results in a list of topics directly, I experiment with various statistical and graph-based methods to extract keywords from the K-Means clusters and use the annotated data set to train a model in generating keyphrases not present in the text. Keyword extraction produced valuable results regardless of the approach, and generating keyphrases with a trained model combined with diverse beam search showed great potential as well. These findings have a broad spectrum of applications, from automatic text tagging to document summarization.
Kolekce
- Bakalářské práce - 13133 [777]