Porozumění dokumentům pomocí metod text miningu

Abstract

Klíčová slova jsou výrazy které popisují téma dokumentu. Používají se také pro shrnutí dokumentu nebo při optimalizaci jejich vyhledávaní. Cílem této práce je prozkoumat možnosti vylepšení extrakce klíčových slov a jejich použití při shlukování a klasifikaci dokumentu. Podařilo se prozkoumat možnosti vytváření ontologie na základě klíčových slov a modelování klíčových slov v čase. Navíc bylo v práci ukázáno, že metody text-miningu lze v omezené míře použít i pro predikci délky života článku. Dále byl navržen a implementován text miningový systém, který je prostřednictvím webových služeb schopný extrahovat klíčová slova z novinových článků a shlukovat je dle postupů, které byly vyhodnoceny jako nejúspěšnější.

Keyword is a term that captures topic of a document. They can be used for quick article summarization or search optimization. In this work we test whether keywords can improve quality of document clustering and document classification compared to unigrams. Futher we describe text mining system that can extract keywords from a document and cluster documents as the part of back-end of news web portal. We also explore possible methods of organizing keywords into hierarchy and visualize them in time.