Rozpoznávání různých abeced v reálných scénách

Abstract

Rozpoznávání textu v reálných scénách se s vysokou dostupností fotoaparátů a chytrých telefonů stalo zajímavou oblastí výzkumu. Na rozdíl od strojového čtení textu ve skenovaných dokumentech je zatím považováno za nevyřešený problém.

V této práci se soustředíme na problémy, které vznikají, když scéna obsahuje text v různých abecedách. Proto nejprve provádíme analýzu výkonnosti existujícího systému na doposud neznámé abecedě. Systém sice používá co nejobecnější metody, doposud byl ale testován jen na latince a okrajově na azbuce. Identifikujeme, které moduly systému jsou citlivé na výměnu abecedy, a hledáme řešení pro některé nalezené problémy. Poté navrhujeme dvě rozdílné metody na rozpoznávání abecedy, kterou je napsán text ve scéně. Obě metody dosahují výkonu srovnatelného s dostupnou literaturou. Nakonec popisujeme syntézu obou přístupů.

Pro účely vyhodnocování byla vytvořena původní datová sada s nápisy převážně v hebrejštině a latince.

Text recognition in natural images became an interesting research area with the advent of affordable cameras and smartphones. Unlike the traditional character recognition in scanned documents, it is still considered an unsolved problem.

We focus on the problems that arise when different alphabets are present in the scene. Therefore, we first analyse the impact of recognizing a previously unknown script on an existing system. Although developed with generality in mind, it has been tested only on the Latin and Cyrillic scripts so far. We identify which modules are sensitive to changing the script and propose solution for some of the found problems. Second, we propose and implement two different methods for script recognition. Both of the methods show state-of-the-art performance. In the end, we provide a synthesis of these approaches.

An original dataset with mainly Hebrew and Latin inscriptions was collected and annotated for the evaluation purposes.