Systém pro odhalování struktury v multimediálních metadatech v projektu Open-Narra

Abstract

S rostoucí popularitou multimédií, zejména audiovizuálních dat, roste také potřeba porozumět jejich vnitřní struktuře. Tato práce se zabývá navrhnutím a prozkoumáním metody, s jejíž pomocí lze hledat strukturu v multimediálních datech. Metoda využívá integraci samoorganizujících map (SOM) a hierarchického shlukování za účelem nalezení vhodné struktury shluků v multimediálních datech. Výstup z každé samoorganizující mapy je vyhodnocen pomocí několika úrovní hierarchického shlukování s různým počtem shluků, namapovaných do SOM. V těchto namapovaných úrovních se nalezne ta, jejíž průměrná vnitroshluková vzdálenost je nejmenší. Tato úroveň poté určuje nejlepší shlukování pro danou samoorganizující mapu. Uvedený postup byl použit, v experimentech se čtyřmi rozdílně velkými mapami, na téměř 16000 segmentů ze zaznamenaných přednášek. V práci je uvedeno několik příkladů interpretace získaných výsledků.

With the quickly rising popularity of multimedia, especially of the audiovisual data, the need to understand the inner structure of such data is increasing. In this thesis, a method for structure discovery in multimedia data is proposed. It consists in integrating a self-organizing map (SOM) and hierarchical clustering to find a suitable cluster structure in the multimedia data. The output of every SOM is evaluated by various levels of hierarchical clustering with different number of clusters mapped to the SOM. Within those mapped levels, the one with the lowest average within-cluster distance is searched, which then determines the most appropriate clustering for the map. In experiments, the proposed approach was applied, with SOMs of four different sizes, to nearly 16 000 segments of audiovisual recordings of lectures. Several examples of the interpretation of obtained results are provided.