Naar automatische audiobeschrijving van videogegevens

Audiobeschrijving, ook bekend als beschreven video, biedt een extra audiokanaal bij een film, soapserie of documentaire, dat beschrijft wat er in een scène gebeurt, zodat ook slechtzienden van de inhoud kunnen genieten. Momenteel is dit een arbeidsintensief proces, waardoor de hoeveelheid video-inhoud die toegankelijk is voor slechtzienden beperkt is. In dit doctoraatsproject is het doel een systeem te ontwikkelen dat automatisch dergelijke audiobeschrijvingen (of ten minste transcripties daarvan) genereert. Voortbouwend op recente vooruitgang in het leren van multimodale representatie (meestal gericht op stilstaande beelden en tekst) en videobegrip onder toezicht, zullen neurale netwerkmodellen worden ontworpen en getraind om deze complexe taak te volbrengen.