Sumarizace textu pomocí rozpoznávání pojmenovaných entit

Abstract

Sumarizace textu je úkol z oblasti zpracování přirozeného jazyka, který spočívá v shrnutí textu kratším a výstižným textem. Sumarizační systémy většinou pracují pouze s textem převedeným na seznam vektorů. Naše práce prozkoumává, jaký vliv má na výkon systému obohacení vstupního textu o příznaky pojmenovaných entit. Využili jsme architekturu neuronové sítě pro překlad, sequence to sequence, dosáhli jsme v současností nejlepších výsledků na největším českém datasetu pro sumarizaci textu zvaném SumeCzech a zjistili jsme, že přidání pojmenovaných entit pomohlo modelu dosahovat lepších výsledků na textech z jiné domény. Prozkoumali jsme různé dostupné datasety, metody a knihovny pro rozpoznávání pojmenovaných entit, porovnali jsme je z hlediska rychlosti, paměťové náročnosti a F-score a zvolili tu nejvhodnější pro sumarizaci textu.

Text summarization is a task in the field of natural language processing that consists of summarizing a text with a shorter and concise text. Summarization systems usually work just with the input text converted to a list of vectors. Our work explores the effect of enriching the input with named entity features. We used a translation neural network architecture, sequence to sequence, to achieve state-of-the-art results on the largest dataset for Czech text summarization, SumeCzech and we found that adding named entities helped the model achieve better results on out of domain texts. We explored different named entity recognition datasets, methods and frameworks, compared them in terms of speed, memory requirements and F-score and chose the most suitable for text summarization.