Efficiënte en hoog-kwalitatieve compressie voor camera-gebaseerde VR met 6 vrijheidsgraden.

Tegenwoordig is de enige manier om een ​​6-graden vrijheid (6-DoF) te ervaren met een VR-headset, om in een virtuele 3D-wereld te zijn die is opgebouwd uit 3D-modellen (bijvoorbeeld een game). Er is geen hoogwaardige, realtime technologie beschikbaar voor door camera's opgenomen inhoud die 6-DoF-video biedt. Er zijn een paar technieken ontworpen waarmee je gratis video kunt bekijken. Interpolatie tussen beide gezichtspunten is echter moeilijk en mist kwaliteit, of geschikte realtime compressie bestaat niet.

Aan de Universiteit Gent wordt in samenwerking met TU Berlin een nieuw raamwerk ontwikkeld om de compressie van lichtveldvideo aan te pakken. De grote voordelen zijn real-time weergave en elegante wiskunde, die hoge compressieverhoudingen mogelijk maken. Het coderingsproces is echter nog steeds extreem traag en de resulterende beeldkwaliteit ontbreekt vaak in details in hoogfrequente regio's. Het voorgestelde onderzoek lost deze twee problemen op: het verbeteren van de beeldkwaliteit aan de eisen van de industrie en het aanzienlijk sneller comprimeren van de compressie.

Ik ben van plan dit iteratief met een toenemende complexiteit te doen. Eerst basisfundamenten bouwen op 2D-afbeeldingen en langzaam verdergaan naar de hogere dimensies, vereist voor 6-DoF. Onderweg zal ik de tegenhanger van de decoder behouden, zodat er permanente validatie is: is alles nog steeds snel genoeg om in realtime te kunnen bekijken? Samengevat, ik zal het nieuwe raamwerk pushen naar industriestandaardevereisten om 6-DoF-ervaringen tot leven te brengen.