Multi-uživatelský systém pro mixed reality

Abstract

Bakalářská práce řeší návrh a implementaci aplikace pro systémy virtuální reality disponující inside-out trackingem a schopností realizovat mixed reality. Aplikace umožňuje více uživatelům, kteří se nachází lokálně ve stejné místnosti, interagovat v rámci jedné 3D scény a to tak, že se uživatelé vzájemně vidí v podobě virtuálních avatarů. Pozice a orientace těchto avatarů ve virtuální 3D scéně potom odpovídají pozicím a orientacím ve světě reálném. Práce řeší zejména způsob, jakým zajistit, aby byl počátek souřadné soustavy stejný pro všechny uživatele. K tomu byly zvoleny prostorové kotvy v podobě technologie zvané Spatial Anchors, která je součástí Oculus SDK. Tyto prostorové kotvy si jednotliví uživatelé rozmístí po místnosti na předem určená místa tak, aby se minimalizovala odchylka jednotlivých pozic a orientací těchto kotev napříč všemi systémy, jenom tak je možné zajistit věrohodné mapování scény pro všechny uživatele. Kromě offsetů uživatelů (HMDs a ovladače) od jednotlivých kotev je nutné po síti synchronizovat také stav 3D scény, k tomu byl zvolen síťový framework Normcore, který je určen pro herní engine Unity. Zvolená technologie Spatial Anchors z Oculus SDK v kombinaci se síťovým frameworkem Normcore umožnila úspěšné vyřešení zadaného problému, tedy implementaci prototypu aplikace, která vizualizuje zvolenou 3D scénu a sdílí ji s více lokálními uživateli najednou. Jelikož zatím neexistuje oficiální řešení lokální synchronizace více uživatelů v rámci Oculus SDK, představuje tento prototyp dobrý základ pro vývoj produkčních aplikací, které by o podobnou funkcionalitu usilovaly. V příloze práce je k dispozici prototyp psaný v herním enginu Unity, ze kterého lze vycházet v případě realizace aplikací s podporou více lokálních uživatelů.

The bachelor thesis deals with the design and implementation of an application for virtual reality systems with inside-out tracking and mixed reality capability. The application allows multiple users, who are locally located in the same room, to interact within a single 3D scene by allowing users to see each other in the form of virtual avatars. The positions and orientations of these avatars in the virtual 3D scene then correspond to the positions and orientations in the real world. In particular, the thesis addresses how to ensure that the origin of the coordinate system is the same for all users. To do this, spatial anchors were chosen in the form of a technology called Spatial Anchors, which is part of the Oculus SDK. These spatial anchors are deployed by individual users around the room at predetermined locations to minimize the variation in the individual positions and orientations of these anchors across all systems, only in this way can a believable scene mapping be provided for all users. In addition to the offsets of users (HMDs and controllers) from each anchor, the 3D scene state must also be synchronized over the network, for this the Normcore network framework was chosen, which is designed for the Unity game engine. The chosen technology, Spatial Anchors from the Oculus SDK, combined with the Normcore networking framework, enabled the successful solution of the specified problem, i.e. the implementation of a prototype application that visualizes the selected 3D scene and shares it with multiple local users simultaneously. As there is not yet an official solution for local multi-user synchronization within the Oculus SDK, this prototype provides a good basis for the development of production applications that would strive for similar functionality. A prototype written in the Unity game engine is provided in the appendix of this thesis, which can be used as a basis for implementing applications with support for multiple local users. Translated with www.DeepL.com/Translator (free version)