Rozhraní rozšířené reality pro více zařízení

Abstract

Cílem práce je vytvořit uživatelské rozhraní pro rozšířenou realitu na velkoformátovém průhledném skleněném válci. Uživatel stojí uprostřed válce, na který je promítán obsah z několika videoprojektorů a zároveň může pozorovat scénu za sklem. Rozhraní je multimodální a umožnuje interakci pomocí hlasu a gest. Rozebíráme různé přístupy k řešení návrhu rozhraní a následně i zvolenou variantu. V rámci zvolené varianty popisujeme hardwarovou přípravu prototypu pro projekci na velkoformátový cylindrický displej a implementaci aplikace řídící synchronizované zobrazování celistvého obrazu složeného z více projektorů. Software sestává ze samostatné aplikace pro video mapping na každý projektor, jedné řídící aplikace, která zajišťuje, že více projektorů tvoří dohromady jednolitý povrch pro interakci pomocí gest a hlasu a z interakčních aplikací starajících se o rozpoznávání a zpracování speciální interakce. Na závěr popisujeme uživatelské testování implementovaného rozhraní se zaměřením na sledování jejich pozornosti mezi rozhraním na průhledném displeji a reálnou scénou za ním, společně s celkovým testováním použitelnosti a uživatelské přívětivosti multimodální interakce.We have created and tested the augmented reality user interface for a transparent large-format cylindrical display. The interface includes hand gestures and voice control. We present various approaches for designing the user interface. We discuss the hardware setup of a cylindrical display prototype and the distributed software for the multiple synchronized video projectors. Furthermore, we demonstrate a standalone client application for video mapping onto the cylindrical display, together with master software that ensures that multiple clients act as a single surface for seamless interaction via gestures and voice. Finally, we discuss the user testing of the interface with a focus on attention tracking between the GUI on the transparent display and the natural scene behind it, along with overall usability and user-friendliness testing of the multimodal interaction.