Sledování pohledu uživatele v systémech virtuální reality

Abstract

Obsahem této práce je průzkum možností sledování očí uživatele za pomoci brýlí pro virtuální realitu, analýza existujících řešení, tvorba prototypu aplikace zabývající se sběrem a vizualizací pohledových dat, a jeho použití pro výrobu testovací scény experimentu, která slouží ke sběru těchto dat od vícero uživatelů. Z nasbíraných dat se vytvoří výsledná data, která se analyzují. Prototyp aplikace je koncipován jako zásuvný modul pro Unreal Engine 4 (UE4). Pro vizualizaci a sběr pohledových dat je použit způsob vyrábění teplotních map pro každý objekt ve scéně zvlášť. Popisuje se návrh modulu, jeho implementace a jeho použití na výrobu experimentu testující průchod novým Návštěvnickým centrem České Národní Banky. Scéna je v Blenderu a práce popisuje její nutné úpravy potřebné pro export do UE4 k zajištění korektní funkčnosti experimentu. Výsledkem této práce je funkční prototyp zásuvného modulu pro UE4 schopný záznamu pohledových dat skrze vyrábění teplotních map v reálném čase, který není závislý na konkrétním hardwaru pro sledování očí. Dále nabízí popis použití brýlí XTAL, které nebylo možné zprovoznit ke sběru pohledových dat z důvodu nestability jejich OpenXR běhového prostředí. Jiná alternativa nebyla, tak se ke sběru dat od různých uživatelů používají směrové vektory virtuální kamery ve scéně Unreal Engine projektu. Nakonec práce popisuje zpracování a vyhodnocení nasbíraných dat. Zásuvný modul a Unreal Engine projekt s experimentem i nasbíranými daty je dostupný na přiloženém médiu práce.

The purpose of this thesis is to explore the possibilities of eye tracking inside headsets for virtual reality, to analyse existing solutions, to create a prototype application that collects and visualises gaze data, and use it to create an experiment that collects the data from multiple users. The collected data are used to make resultant data that are analysed. A plug-in for Unreal Engine 4 (UE4) is the form selected for the prototype application. To visualise the gaze data, heatmaps are generated for each object in the scene. This thesis describes the design of the plug-in, its implementation and its use to create an experiment of a traversal through a scene of the Czech National Bank Visitor Centre. The scene is in Blender, and the thesis describes the necessary modifications needed for a successful export to UE4 to achieve the correct functionality of the experiment. The result of this thesis is a working prototype of a plug-in for UE4, capable of collecting gaze data to produce heatmaps in real-time, that is not dependent on any eye-tracking hardware. It also offers a description of the use of XTAL, which was not possible to make operational to collect gaze data due to the instability of its OpenXR runtime. There was no other alternative, so the forward vectors of a virtual camera in the Unreal Engine project scene were used to collect data from different users. Finally, the thesis describes the processing and evaluation of the data collected. The plug-in, the Unreal Engine project with the experiment and the data are available in the enclosed media DVD.