3D-reconstructie met behulp van mobiele apparaten voor VR-weergave (CSC-2019-22)

In dit project zullen, we computationele fotografiemethoden onderzoeken om 3D-omgevingen vast te leggen en 3D-werelden te reconstrueren op basis van een grote reeks afbeeldingen op een mobiel apparaat. Dit kan worden gedaan met behulp van algoritmen die bekend staan als Structure from Motion (SfM), visuele SLAM of Multi-View Stereo (MVS). Die populaire frameworks zijn echter meestal gericht op het 3D-scannen van een klein object. We zullen die benaderingen uitbreiden door een 3D-reconstructie te maken van een omgeving, binnen of buiten, waarbij we rekening houden met robuustheid en efficiënte implementatie. Bestaande benaderingen voor 3D-reconstructie leggen doorgaans strikte geometrische randvoorwaarden op (zoals de eisen van de wereld van Manhattan bij het reconstrueren van het interieur van een kamer). Hun prestaties gaan snel achteruit bij afwijkingen van dit model, zoals bogen en dakkapellen in een huis, of onregelmatige natuurlijke omgevingen buitenshuis. Ons doel is om die beperkingen op te heffen om robuust scannen van willekeurige omgevingen met een typische smartphonecamera mogelijk te maken. Bovendien heeft het op leren gebaseerde model via AI ook een groot potentieel in 3D-reconstructie, zoals feature-extractie op laag niveau, feature-match, semantische labeling, wat een algemener model voor 3D-taken kan opleveren. We zullen het AI-potentieel in de 3D-wereld verkennen. Wanneer een dergelijke 3D-reconstructie beschikbaar is, kan een externe gebruiker de omgeving virtueel verkennen alsof hij / zij er echt was, zoals voor virtuele rondleidingen of virtueel toerisme. Als de reconstructie in realtime kan worden uitgevoerd, is virtuele aanwezigheid mogelijk bij live-evenementen, zoals concerten of sportevenementen.