Het induceren van representaties voor de automatische vertaling van gebarentaal met behulp van taalkundige en kennisgebaseerde constraints

Dit doctoraatsonderzoek maakt integraal deel uit van het Horizon 2020 SignON-project, dat 17 Europese partners verenigt in een onderzoeksproject dat tot doel heeft de uitwisseling van informatie tussen doven en slechthorenden en horende personen in heel Europa te verbeteren door automatische hulpmiddelen voor gebarentaalvertaling te ontwikkelen. Recente methoden voor machinaal leren op basis van neurale transformerarchitecturen hebben de performantie van toepassingen voor natuurlijke taalverwerking, zoals automatische vertaling, sterk verbeterd. Dezelfde soort architecturen zijn toegepast op het multimodale probleem van gebarentaalvertaling, wat eveneens gunstige resultaten heeft opgeleverd. Vanwege de inherente complexiteit van de taak wordt meestal niet voor een end-to-end-benadering gekozen (d.w.z., de rechtstreekse vertaling van gebaren naar tekst), maar in plaats daarvan worden de gebaren eerst omgezet naar een intermediaire, gloss-gebaseerde transcriptie (gebaar naar gloss), en in een tweede stap wordt de intermediaire representatie omgezet naar verbale taal (gloss naar tekst). Het gebruik van glossen als een interface voor vertaling van gebaar naar taal is behoorlijk succesvol, maar brengt ook een aantal problemen met zich mee. Gloss-annotaties zijn een onnauwkeurige representatie van gebarentaal; in dit opzicht zijn ze vaak een zwakke representatie die geen recht doet aan de complexe multi-channel-productie van gebarentaal. Dit project zal zich richten op de intermediaire representatie die functioneert als een interface tussen gebarentaal en verbale taal in de context van gebarentaalvertaling. Het onderzoek zal langs twee sporen verlopen. Ten eerste zal het project zich buigen over de ontwikkeling van een veelzijdige interlinguale representatie voor gebarentaalvertaling, die kan fungeren als een voldoende rijke interface tussen gebarentaal en verbale taal, en die is toegespitst op machinelearningmethoden. Cruciaal is dat de representatie voldoende rijk moet zijn om de nuances van de veelzijdige multi-channel-gebarentaal te vatten, maar tegelijkertijd soepel genoeg om opgenomen te worden in een classificatiegebaseerde optimalisatie, die inherent is aan machine learning. Ten tweede zal het project onderzoeken hoe de resulterende representaties kunnen worden geëxploiteerd als soft constraints om de voorspellingen van de neurale vertaalarchitectuur voor gebarentaal te verbeteren. Door de netwerkoutput te verrijken met representatiegebaseerde constraints (gemodelleerd als a priori distributies op de outputdistributie van het neurale netwerk) kunnen mogelijke discrepanties als gevolg van resourceschaarste worden verholpen. De resultaten van het project zullen geïntegreerd worden in een overkoepelend systeem voor gebarentaalvertaling, in samenwerking met de Europese partners van het SignON project.