Využití kamery v mobilním telefonu pro zrakově postižené

Abstract

Tato práce se zabývá využitím kamery jako asistivní pomůcky ve speciálním telefonu pro nevidomé založeném na systému Android a vyvíjeném v rámci Katedry kybernetiky Českého vysokého učení technického v Praze. V úvodu diskutuje uplatnění obecných úloh počítačového vidění v oblasti asistivních technologií pro nevidomé a zrakově postižené. Řeší jak specifické využití kamery (pro identifikaci objektů, bankovek, čtení textu), tak zpřístupnění základní funkce fotoapa- rátu a ovládání telefonu jako takového. V rámci práce je implementovaný nový algoritmus pro rozpoznávání bankovek založený na BRISK deskriptoru a Gradient Boosted Trees klasifikátoru. Dále je rozebrána im- plementace přístupného mobilního uživatelského rozhranní k existujícímu rozpoznávači textu z reálných scén od společnosti Google a implementace jednoduché aplikace umož- ňující nevidomým a slabozrakým s pomocí telefonu pořizovat fotografie a pracovat s nimi. Závěr práce popisuje uživatelské testování se šesti nevidomými a slabozrakými dob- rovolníky, které v rámci vývoje výše zmíněných aplikací proběhlo. Aplikace vyvíjené v rámci této práce, se až na některé detaily setkaly u zrakově postižené komunity s pozitivním přijetím.

This thesis deals with the use of a mobile camera as an assistive tool in a special phone for the blind and visually impaired people, based on the Android system and developed in the Department of Cybernetics of the Czech Technical University in Prague. In the introduction, it discusses the applicability of general tasks of computer vision in the area of assistive technologies for the blind and visually impaired. It deals with both the specific use of the camera (for identifying objects, banknotes, reading text labels), as well as accessing the basic functionality of the camera itself. A novel banknote recognition algorithm based on the BRISK descriptor and the Gra- dient Boosted Trees Classifier is implemented as a part of this work. Implementation of an accessible mobile user interface to Google?s existing real-time text recognition library, as well as the implementation of a simple camera and image gallery application is also discussed. The conclusion of this thesis describes the user testing that took place during the development of the above-mentioned applications. The applications developed as a part of this thesis were (except for some minor details) received very positively by the blind community.