Komprese přirozeného českého textu

Abstract

V rámci práce byly navrženy a implementovány 4 algoritmy pro bezeztrátovou kompresi přirozeného českého textu využívající lemmatizátor, morfologický tagger a morfologický generátor obsažený v softwaru MorphoDiTa. První z algoritmů je založen na ukládání lemmat jednotlivých slov a generování slovních tvarů, druhý modeluje pravděpodobnosti jednotlivých slov na základě uložené informace o jejich slovním druhu, třetí modeluje pravděpodobnosti slov na základě slovního druhu předchozího slova a čtvrtý je rozšířením prvního, kdy jsou společně s lemmaty ukládány i některé části tagu. Výsledné kompresní poměry byly porovnány s kompresními poměry dosaženými referenčním algoritmem základní slovní komprese. Z porovnání vyplynulo, že druhý a třetí popsaný algoritmus zlepšení nepřináší, zatímco první a čtvrtý algoritmus dokáže kompresní poměr při vhodných konfiguracích zlepšit, typicky v řádu desetin procenta. Hlavním přínosem práce je důkaz, že použití lingvistických nástrojů může být při kompresi českých textů z hlediska kompresního poměru výhodné. Významným vedlejším produktem práce je široce použitelná implementace adaptivní verze kompresního algoritmu PPM, na níž jsou výše popsané algoritmy založeny.

In scope of this thesis, 4 algorithms for lossless compression of natural Czech text have been designed and implemented. The algorithms utilize the lemmatiser, morphological tagger and morphological generator contained in open-source software MorphoDiTa. First of the algorithms is based on storing lemmas of individual words and generating the word forms, the second one uses stored part-of-speech tags to estimate probability of words, the third one estimates probability of a word using part-of-speech tag of the previous word and the fourth one is an extension of the first algorithm, storing some parts of the tag alongside the lemma. The achieved compression ratios have been compared to compression ratios achieved by a basic word-based reference algorithm. The comparison has shown that the second and the third algorithm are not better than the reference algorithm in terms of compression ratio, while the first and the fourth algorithm are able to achieve better compression ratio than the reference algorithm when using an appropriate configuration (they typically improve the compression ratio by several tenths of percent). This thesis thus proved that using linguistic tools in compression of natural Czech texts may be beneficial in terms of compression ratio. An important by-product of this thesis is a highly universal implementation of adaptive PPM compression algorithm, which has been used as the core element of each of the above-mentioned algorithms.