Využití rekurentních sítí pro rozpoznávání textu v obraze

Abstract

Rozpoznávání textu patří mezi klasické problémy počítačového zpracování obrazu. Úloha se skládá ze dvou částí: detekce textu v obrazu a klasifikace detekovaného textu. Během detekce textu jsou nalezeny výseky obrazu obsahující text. Ve fázi klasifikace textu se čte text v daném výseku. Tato práce se zabývá úlohou klasifikace detekovaného textu. Pro řešení úlohy byl použit existující model: konvoluční rekurentní neuronová síť od autorů Shi et. al.. Tento model se skládá ze tří hlavních komponent: z hluboké konvoluční sítě VGG Net, z obousměrné LSTM a z CTC algoritmu pro přepis do finálního textu. Tyto tři komponenty jsou analyzovány v teoretické části práce. Praktická část začíná replikací původních výsledků [29]. Následně byly navrženy tři změny modelu, které byly otestovány na dvou datasetech, ICDAR 2013 a ICDAR 2015. Jejich výsledky jsou porovnány s původním modelem. Jedna z navržených změn mírně vylepšila přesnost studovaného modelu a druhá vedla k objevení menších nedostatků na trénovací sadě, které mohou sloužit jako podklad pro budoucí práci.

The image-based text recognition is a classical problem in computer vision. The problem usually consists of two stages: the text detection and text recognition. During the text detection stage the bounding boxes containing the text are selected in the input image. In the text recognition stage the label corresponding to the text in the bounding box is found. This thesis is concerned with the text recognition stage. An existing model, the convolutional recurrent neural network by authors Shi et. al., was used for the task. This model consists of three main components: the VGG Net, which is a convolutional feature extractor, the bidirectional LSTM for sequence prediction, and the CTC algorithm for final transcription of labels. These three parts are analyzed in the theoretical part of the thesis. The practical part begins with the replication of the results for the original model. Three changes to the model are then proposed and evaluated on two standard datasets, ICDAR 2013 and ICDAR 2015, and compared to the original model. One change slightly improved the accuracy of the model and another one lead to the identification of small defects in the training dataset which might be addressed in the future work.