Získávání znalostí z multimediálního obsahu

Abstract

Kdo, co, kde, kdy, jak a proč? Záznam odpovědí na tyto základní otázky dokáže objasnit okolnosti děje v reálném světě. V případě fotografií, nebo obrazového záznamu ale dokážeme na tyto otázky odpovědět jen velmi obecně, pokud neznáme kontext, nebo záznam nevyvolá přímou vzpomínku. Naopak při sestavování narativu z jednotlivých audiovizuálních klipů potřebujeme mít odpovědi na tyto otázky k dispozici, a následně je také předat divákovi ve srozumitelné formě. Jenže velmi často strojově čitelné informace obsahující odpovědi alespoň na část těchto otázek chybí. Z toho důvodu se metody automatického získávání znalostí z obrazových dat, pomáhajících poskytnout některé odpovědi, staly zásadní motivací pro tuto práci. Celou situaci navíc značně komplikuje to, že multimédia jsou značně rozmanitou doménou. V jednom audiovizuálním projektu se může snadno mísit několik typů obsahu, kdy každý vyžaduje jiné metody zpracování. Za tímto účelem jsme tak navrhli teoretický systém využívající principy meta-učení. Jako jeden ze základních kamenů pak uvažujeme metodu rozpoznání scény, na základě jejiž znalosti bychom dokázali lépe vybrat navazující metody zpracování. Ani tento problém však nemá triviální řešení a tak navrhujeme další pokročilé metody vedoucí až k problému sledování objektů ve scéně; metody, jejiž urychlení a zpřesnění by následně pomohlo nejen rozpoznávání scény ale také pro zvýšení výkonu metod, které by popisovaly samotné objekty ve scéně.

Who, what, where, when, how, and why? Recording the answers to these basic questions can shed light on the circumstances of real-world events. However, in the case of photos or video recordings, we can only answer these questions vaguely unless we know the context or it triggers a direct memory. On the other hand, when constructing a narrative from individual audiovisual clips, we need to have the answers to these questions available to convey them to the viewer in an understandable form. Yet, the machine-readable information containing answers to at least some of these questions is commonly missing. For this reason, methods for automatic knowledge extraction from image data that provide some of the answers have become a significant motivation for this dissertation thesis. The whole situation is further complicated because multimedia is a highly diverse domain. Several types of content can easily be mixed in a single audiovisual project, each requiring different processing methods. To this end, we propose a theoretical system that uses meta-learning principles. We then consider scene recognition as one of the cornerstone methods, allowing us to select better downstream processing methods. However, even this problem does not have a trivial solution, and so we propose additional advanced methods leading up to the problem of tracking objects in the scene; methods whose speed-up and refinement would subsequently help not only the scene recognition but also increase the performance of methods that describe objects in the scene.