Realistický úchop předmětů ve VR pomocí AI

Abstract

S rozvojem virtuální reality a rostoucí dostupností VR zařízení, jako je Oculus Quest 2, se objevuje stále více příležitostí pro realistickou interakci s virtuálním prostředím.Jedním z klíčových směrů je integrace reálných objektů do virtuální reality. Hlavním cílem této práce je vývoj aplikace, která umožňuje uživateli interakci s reálnými objekty ve virtuální realitě prostřednictvím pokročilého systému animace rukou. Navrhneme a implementujeme XR aplikaci, která bude zahrnovat integraci 3D odhadu pozice, detekce objektů a systému vlastních animací v rámci virtuální scény.

With the development of virtual reality and the increasing availability of VR devices, such as the Oculus Quest 2, more opportunities are emerging for realistic interaction with virtual environments. One of the key directions is the integration of real objects into virtual reality. The main goal of this work is the development of the application, which allows users to interact with real objects in Virtual Reality through an advanced hand animation system. We will design and implement XR application, which includes the integration of 3D Pose Estimation, object detection, and a custom animation system within a virtual scene.