Aplikace hlubokých neuronových sítí pro klasifikaci rukopisů

Abstract

Práce se zabývá možností zlepšení přesnosti klasifikace pro malé datové sady za použití konvolučních neuronových sítí (CNN). Konkrétně se jedná o klasifikaci typu historických ručně psaných latinských textů. Hlavními tématy je využití pretrainingu a vliv pretrainingu na rozšířené datové sady. V práci je dále sledován dopad změn learningratu a také účinek zafixování vah pro prvních několik vrstev. V neposlední řadě pak je věnován prostor preprocesingu datové sady pomocí whiteningu. Whitening je použit v kontextu jednotlivých obrázků. Byly použity modely CNN VGG16 [1] a Resnet50 [2], jelikož byly již v minulosti aplikovány pro klasifikaci latinských textů s jednou z nejvyšších přesností (architektura VGG16 dosáhla přesnosti 0.7649). Cílem těchto a dalších metod je dosáhnout zlepšení přesnosti klasifikace vůči výsledkům ze soutěže Classification of Medieval Handwritings in Latin 2016 Script [3]. [1] SIMONYAN, Karen and Andrew ZISSERMAN. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014. [2] HE, Kaiming, Xiangyu ZHANG, Shaoqing REN and Jian SUN. Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2016, , 770-778. DOI: 10.1109/CVPR.2016.90. ISBN 978-1-4673-8851-1. [3] CLOPPET, Florence, Véronique EGLIN, Van KIEU, Dominique STUTZMANN and Nicole VINCENT. ICFHR2016 Competition on the Classification of Medieval Handwritings in Latin Script. Shenzhen, China, 2016, 2016(Oct.).

The thesis concentrates on improving recognition performance for small datasets using CNN. Specifically, it is about type classification of handwritings in Latin. The main topics are the use of pre-training and the influence of pre-training on augmented datasets. In the thesis, the impact of learning-rate changes and also the effect of fixing weights in several layers of the beginning of the network are examined. Last but not least, there is space devoted to preprocessing of the dataset using whitening. The whitening is used in the context of individual images. The CNN models VGG16 [1] and Resnet50 [2] were used, as they were applied to Latin texts classification with one of the highest precision (architecture VGG16 reached accuracy of 0.7649). The goal of these and other methods is to achieve improvement in classification against the results of the Classification of Medieval Handwritings in Latin 2016 Script competition [3]. [1] SIMONYAN, Karen and Andrew ZISSERMAN. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014. [2] HE, Kaiming, Xiangyu ZHANG, Shaoqing REN and Jian SUN. Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2016, , 770-778. DOI: 10.1109/CVPR.2016.90. ISBN 978-1-4673-8851-1. [3] CLOPPET, Florence, Véronique EGLIN, Van KIEU, Dominique STUTZMANN and Nicole VINCENT. ICFHR2016 Competition on the Classification of Medieval Handwritings in Latin Script. Shenzhen, China, 2016, 2016(Oct.).