Klasifikace dokumentů pomocí metod strojového učení

Abstract

Problém hledání v nekategorizovaných dokumentech spočívá v tom, že uživatelům jsou často prezentovány výsledky, které obsahují hledaná klíčová slova, ale nejsou pro uživatele relevantní. Cílem této práce je rozšířit dokumenty o štítky na základě obsahu dokumentů. K dosažení cíle bylo zvažováno několik přístupů: Elasticsearch, Semaphore, LSTM, BERT. Cílem práce je zjistit, která technika má největší potenciál a poskytuje nejlepší výsledky. Všechny uvedené přístupy byly testovány a vyhodnoceny. Bylo zjištěno, že modely BERT fungovaly nejlépe a splnily všechny vstupní požadavky. Zlepšení kvality klasifikace pomocí BERT bylo dosaženo použitím počátečního modelu a manuální klasifikací malé sady dokumentů s nízkým skóre spolehlivosti.

The problem of searching in uncategorized documents is that users are often presented with results that contain searched keywords, but are not relevant to the user. The goal of this work is to extend the documents with tags based on their content. To accomplish this several approaches were considered: Elasticsearch, Semaphore, LSTM, BERT. The objective of this thesis is to determine which technology has the most potential and provides the best results. All listed approaches were tested and evaluated. It was found that BERT models performed the best and satisfied all of the initial business requirements. Some improvements in the quality of classification with BERT were achieved by utilizing the initial model and manually classifying a small set of documents with a low confidence score.