Interaktivní vizualizace zvukového výstupu

Abstract

Práce popisuje problematiku tvorby a nasazení multimediální aplikace, ve které jsou kombinovány přístupy z oboru počítačové grafiky, počítačového vidění a zpracování zvukového signálu. Cílem je vytvoření interaktivní instalace, která prohlubuje divákův zážitek z poslechu hudby doplněním o obrazovou složku ve formě vizualizace přehrávaného zvukového signálu. V rámci projekce této vizualizace je pak kladen důraz na vyvolání dojmu prostorovosti - na vytvoření iluze, že je divák součástí rozsáhlejší virtuální scény.

Tohoto efektu je docíleno pomocí techniky projection mapping. Promítáme na stěny obraz zdeformovaný tak, že při pohledu z určitého místa dochází vlivem perspektivního zkreslení k optické iluzi zvětšení prostoru nad jeho fyzické rozměry. Pro celkovou uvěřitelnost výsledného efektu pak využíváme sledování pozice pozorovatele v prostoru dvojicí kamer, díky čemuž můžeme obraz deformovat v závislosti na jeho umístění a virtuální scéna při pohybu působí opravdově.

This thesis delves into the problematique of creation and deployment of a multimedia application, which combines techniques from the fields of computer graphics, computer vision and audio processing. The goal is to establish an interactive scene, which deepens the musical experience of the viewing subjects by employing a visual component in the form of audio visualization. The main focus of the projection is to create an increased spatial immersion, an illusion of a wider virtual scene, which the subject then feels to be part of.

This effect is achieved by the means of projection mapping. The visual component is projected onto the walls of the room deformed in such a way, that the subject is led to perceive the scene to be far larger than the actual physical space he is situated in. The immersion factor of this effect is achieved by a dual camera setup, which accurately tracks the observer's position. This allows the projected image to be distorted in a certain way as to evoke an illusion of depth when viewed by the observer as he freely moves around.