Vzdálené realistické zobrazování pro VR a mobilní zařízení

Abstract

Klasické VR poskytujú vysokú kvalitu vizualizácie, ale obmedzujú pohyb užívateľa, keďže sú pripojené k PC káblom a mobilné VR majú iba GPU s relatívne nízkym výkonom. Cieľom práce je dosiahnuť dobrý VR zážitok bez obmedzenia na pohyb: vysoká obnovovacia frekvencia a okamžitá zmena zobrazenia pri zmene polohy hlavy. V našom riešení, scéna je vykresľovaná na vzdialenom výkonnom serveri do viacerých vrstiev, zabalená do jednej textúry, skomprimovaná a s potenciálnou viditeľnou množinou trojuholníkov posielaná klientovi. Klient zobrazuje scénu s vyššou obnovovaciou frekvenciou, ako je aktualizovana zo servera.

Wired VR headsets provide high visual quality, but restrain the user's movement by being connected to PC with cable, and untethered headsets have only mobile GPU, which has relatively low performance. We focus on providing smooth VR experience without restriction on movement: high refresh rate and immediate effect of head movement on the rendering to prevent motion sickness. Video streaming of rendering provides high refresh-rate and quality but can also have high latency. In our approach, the scene is rendered on the server to multiple layers using depth peeling, packed to texture, and with a potentially visible set of triangles streamed to the client. This method supports temporal frame up-sampling and provides low latency. Results show that it is a potential alternative to existing image-based methods and atlas streaming approaches.