Show simple item record

Audio-visual speech aktivity detector

dc.contributor.advisorČech Jan
dc.contributor.authorŠarbortová Hana
dc.date.accessioned2015-03-20T06:03:01Z
dc.date.available2015-03-20T06:03:01Z
dc.identifierKOS-587864080805
dc.identifier.urihttp://hdl.handle.net/10467/61248
dc.description.abstractCílem této práce je vytvořit audio-vizuální detektor řeči, t.j. algoritmus, který automaticky identifikuje, zda osoba ve videozáznamu v danou chvíli mluví. Tato úloha je důležitá pro tzv. audio-vizuální diarizaci nebo audio-vizuální rozpoznávání a učení identit. Navržený detektor řeči má dvě fáze. V první fázi je řeč detekována pouze na základě vizuální informace. V druhé části jsou již detekované části videa testovány na synchronnost s audio signálem. Z lokalizovaných významných bodů na detekované tváři jsou extrahovány geometrické video příznaky. Mel-frequency cepstral coefficients jsou použity jako audio příznaky. Synchronnost audio a video příznaků je testována kanonickou korelační analýzou s fixními projekčními koeficienty. Tento algoritmus je schopen vizuálně detekovat řeč a spolehlivě ověřit synchronnost na dostatečně dlouhé části videozáznamu, podle experimentů alespoň 8 sekund.cze
dc.description.abstractThe aim of this thesis is to create an audio-visual speech activity detector, i.e. an algorithm which automatically identifies whether a person in a video is speaking at a time. This task is important in audio-visual diarisation problem and in audio-visual cross modal identity recognition and learning. A two phase speech activity detector is proposed. First, the speech activity is detected in a video sequence based on the visual information only. Second, the parts detected in the first phase are tested on synchrony with the audio signal. Geometrical video features are extracted from facial landmarks that are localized in a region found by a face detector. Mel-Frequency Cepstral Coefficients are used as audio features. The synchrony of audio and video features is tested by Canonical Correlation Analysis with fixed projection coefficients. The algorithm is able to detect lip activity and reliably confirm the synchrony on a sufficiently long audio-video sequences, at least 8 seconds according to the experiments.eng
dc.publisherČeské vysoké učení technické v Praze. Vypočetní a informační centrum.cze
dc.publisherCzech Technical University in Prague. Computing and Information Centre.eng
dc.rightsA university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://www.cvut.cz/sites/default/files/content/d1dc93cd-5894-4521-b799-c7e715d3c59e/cs/20160901-metodicky-pokyn-c-12009-o-dodrzovani-etickych-principu-pri-priprave-vysokoskolskych.pdf.eng
dc.rightsVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://www.cvut.cz/sites/default/files/content/d1dc93cd-5894-4521-b799-c7e715d3c59e/cs/20160901-metodicky-pokyn-c-12009-o-dodrzovani-etickych-principu-pri-priprave-vysokoskolskych.pdf.cze
dc.subjectDetektor řeči, Audio-vizuální synchronnost, MFCC, CCAcze
dc.titleAudio-vizuální detektor řečicze
dc.titleAudio-visual speech aktivity detectoreng
dc.typeBAKALÁŘSKÁ PRÁCEcze
dc.typebachelor's thesiseng
dc.date.accepted2015-01-29
dc.contributor.refereeAlameda Xavier
theses.degree.disciplineSystémy a řízenícze
theses.degree.grantorkatedra řídicí technikycze
theses.degree.programmeKybernetika a robotikacze


Files in this item




This item appears in the following Collection(s)

Show simple item record