Rozpoznávání pojmenovaných entit v českém jazyce

Abstract

Rozpoznávání pojmenovaných entit (NER) je dílčím úkolem “information extraction”, který se snaží najít a klasifikovat pojmenované entity uvedené v nestrukturovaném textu do předem definovaných kategorií, jako jsou jména osob věk, data, organizace ard. Je to jedna z hlavních technik “Natural Language Processing” (NLP) a silný klasifikátor entit je nedílnou součástí každého výzkumu, kde je správná reprezentace entit zásadní. V češtině je největším veřejně dostupným korpusem “Czech Named Entity Corpus”. Tento korpus obsahuje vnořené entity, a proto všechny nejmodernější modely natrénované na tomto korpusu řeší problém vnořeného NER. V této práci jsem tento korpus upravil tak, aby obsahoval pouze nevnořené entity pro řešení problému NER pomocí knihoven “Hugging Face” se zaměřením na replikovatelnost trénování a vytvoření jednoduchého, ale silného klasifikátoru. Klasifikátor je založen na české jednojazyčné verzi RoBERTa, robustně optimalizovaném tréniku založeném na architektuře “BERT”, jménem RobeCzech. Řešení navržené v této práci překračuje známé state-of-the-art výsledky a zdá se, že je dobře škálovatelné s reálnými daty.

Named Entity Recognition (NER) is a subtask of information extraction that seeks to locate and classify named entities mentioned in unstructured text into pre-defined categories, such as person names, ages, dates, organizations, etc. It is one of the main techniques in Natural Language Processing (NLP), and a strong entity classifier is an inseparable part of every research, where the correct representation of entities is essential. In Czech, the biggest publicly available corpus is the Czech Named Entity Corpus. This corpus contains nested entities and therefore all state-of-the-art models trained on this corpus solve the problem of nested NER. In this thesis, I modified this corpus to contain only flat entities to solve the NER problem using the Hugging Face libraries with a focus on the replicability of training and creating a simple yet strong classifier. The classifier is based on a Czech monolingual version of RoBERTa, a robustly optimized BERT pre-training approach, named RobeCzech. The solution proposed in the thesis exceeds the known state-of-the-art results and seems to scale well with real-world data