Generatie van een 6-DoF-omgeving met behulp van mensgerichte AI-algoritmen om de aanwezigheid van Extended Reality-applicaties te verbeteren

Extended Reality (XR) heeft de mogelijkheid om de manier waarop we omgaan met digitale inhoud en de wereld om ons heen te transformeren, en biedt nieuwe manieren om te leren, werken en spelen door holistische en meeslepende ervaringen van de omringende omgeving te creëren. Deze ervaringen vereisen realistische en gedetailleerde 3D-modellen van objecten, omgevingen en personages. Een van de belangrijkste kenmerken van XR is aanwezigheid, wat verwijst naar het gevoel volledig ondergedompeld te zijn in een virtuele omgeving. Om het realisme te behouden, vereisen huidige methoden zoals Light Fields (LF) contentrepresentatie een enorme hoeveelheid datatransmissie (hoge bandbreedte). In dit onderzoeksproject stel ik voor om een realistische dynamische 3D-omgeving te genereren met 6 Vrijheidsgraden (6DoF) met behulp van Deep Generative Networks met aanwezigheid als meetaspect. Het bestaat uit twee delen: (1) een computervisiesysteem dat de 3D-omgeving genereert op basis van 2D-beelden, en (2) een Human-Computer Interaction-systeem (HCI) dat Region of Interest (RoI) voorspelt voor efficiënte 3D-weergave, kwalitatieve en kwantitatieve beoordeling van aanwezigheid om de kwaliteit van de 3D-scène te verbeteren. Verder is er een proof-of-concept ontworpen aan de hand van twee use cases van een binnen- en buitenomgeving. Door de aanwezigheid van de gegenereerde 3D-omgevingen te evalueren, kon men in ons werk inzicht krijgen in hoe goed het diepe generatieve netwerk in staat is om realistische en meeslepende omgevingen te creëren. Dit zou belangrijke toekomstige ontwikkelingen kunnen helpen bij het creëren van realistische en meeslepende XR-content.