Prostorový zvuk pro imersivní video

Abstract

Práce představuje nejvýznamnějši moderni technologie ve sféře prostorového audia a uvádi výhody, diky kterým ambisonie začiná být standardnim formátem zvuku pro 360° video. Práce uvádi čtenáře do teoretických základů ambisonie a popisuje několik důležitých dekódovacich technik. Následně je představeno softwarové řešeni umožňujici automatické prostorové panorámováni zvuku v DAW na základě 3D pozici objektů (vůči aktivni kameře) ve scéně v Blenderu. Implementace obsahuje dva pluginy - plugin pro Blender, umožňujici přistup k současnému stavu 3D scény, a VST plugin, který využivá tyto informace o 3D scéně pro ambisonické panorámováni zvuku. Panoramováci směrové vektory jsou aktualizovaný v reálném čase pomoci meziprocesové komunikace. Umělcům a inženýrům pracujicim na projektu to pak dovoluje mit před sebou náhled animace a současně provádět změny v audiu, a obráceně - slyšet, jak změny v poloze objektů ovlivňuji zvuk. Představené řešeni je nejužitečnějši pro produkci prostorového zvuku pro 360° 3D animace, kde může výrazně snižit počet kanálů vyžadujicich ručni panoramováni. Najde ale využiti i v neanimovaných projektech, kde může sloužit k vizualizaci pohybu zdrojů zvuku, a umožni využiti dostupných v Blenderu pokročilých nástrojů pro 3D animaci.

This thesis provides an overview of modern immersive audio technologies and outlines why ambisonics is becoming the industry-standard spatial audio format for 360° video. An introduction to ambisonics theory is provided, and several important decoding techniques are described. A software solution is then presented, which implements automatic spatial panning of sounds in a DAW based on the 3D positions of objects (relative to the active camera) in the Blender scene. The implementation consists of two plugins - a Blender plugin to access the 3D scene data, and a VST ambisonic panner plugin that utilises said scene data to calculate the panning direction. Panning direction vectors are updated in real time using interprocess communication, allowing artists to preview the animation while simultaneously making adjustments to the audio, and vice versa. The presented solution is especially useful in producing spatial audio for 360° 3D animations, where it can help reduce the number of audio sources that have to be panned manually. It can however find a place in non-animated projects as well, where it can be used to visualise the movement of sound sources, and would allow to use Blender's advanced 3D animation toolset for animating sound source positions.