Audio-vizuální detektor řeči
Audio-visual speech aktivity detector
Type of document
bakalářská prácebachelor thesis
Author
Šarbortová Hana
Supervisor
Čech Jan
Opponent
Alameda Xavier
Field of study
Systémy a řízeníStudy program
Kybernetika a robotikaInstitutions assigning rank
katedra řídicí technikyDefended
2015-01-29Rights
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://www.cvut.cz/sites/default/files/content/d1dc93cd-5894-4521-b799-c7e715d3c59e/cs/20160901-metodicky-pokyn-c-12009-o-dodrzovani-etickych-principu-pri-priprave-vysokoskolskych.pdfVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://www.cvut.cz/sites/default/files/content/d1dc93cd-5894-4521-b799-c7e715d3c59e/cs/20160901-metodicky-pokyn-c-12009-o-dodrzovani-etickych-principu-pri-priprave-vysokoskolskych.pdf
Metadata
Show full item recordAbstract
Cílem této práce je vytvořit audio-vizuální detektor řeči, t.j. algoritmus, který automaticky identifikuje, zda osoba ve videozáznamu v danou chvíli mluví. Tato úloha je důležitá pro tzv. audio-vizuální diarizaci nebo audio-vizuální rozpoznávání a učení identit. Navržený detektor řeči má dvě fáze. V první fázi je řeč detekována pouze na základě vizuální informace. V druhé části jsou již detekované části videa testovány na synchronnost s audio signálem. Z lokalizovaných významných bodů na detekované tváři jsou extrahovány geometrické video příznaky. Mel-frequency cepstral coefficients jsou použity jako audio příznaky. Synchronnost audio a video příznaků je testována kanonickou korelační analýzou s fixními projekčními koeficienty. Tento algoritmus je schopen vizuálně detekovat řeč a spolehlivě ověřit synchronnost na dostatečně dlouhé části videozáznamu, podle experimentů alespoň 8 sekund. The aim of this thesis is to create an audio-visual speech activity detector, i.e. an algorithm which automatically identifies whether a person in a video is speaking at a time. This task is important in audio-visual diarisation problem and in audio-visual cross modal identity recognition and learning. A two phase speech activity detector is proposed. First, the speech activity is detected in a video sequence based on the visual information only. Second, the parts detected in the first phase are tested on synchrony with the audio signal. Geometrical video features are extracted from facial landmarks that are localized in a region found by a face detector. Mel-Frequency Cepstral Coefficients are used as audio features. The synchrony of audio and video features is tested by Canonical Correlation Analysis with fixed projection coefficients. The algorithm is able to detect lip activity and reliably confirm the synchrony on a sufficiently long audio-video sequences, at least 8 seconds according to the experiments.
Collections
- Bakalářské práce - 13135 [476]