Mens-machine communicatie en inferentie in natuurlijke omgevingen

Het project focust op het fundamenteel probleem of hoe autonome systemen en hun gebruikers op een natuurlijke manier interageren over een gedeelde context die ze beiden zien. Voor dergelijk functioneren in realistische en natuurlijke omgevingen hebben we technologie nodig die accuraat en in realtime de situatie begrijpt, waarbij het gezamenlijk verwerken van natuurlijke taal en beeld noodzakelijk is. Visuele en talige gegevens bieden hier aanvullende informatie (bijvoorbeeld in een commando zoals 'volg de rode auto hiervoor '), waardoor hun gezamenlijke verwerking onmisbaar is. MACCHINA combineert recente ontwikkelingen van computervisie en natuurlijke taalverwerking, waarbij deep learning een gemeenschappelijke methodologie vormt voor het interpreteren van taal en beeld. Fundamenteel onderzoek is nodig om multimodale continue representaties te leren die de betekenis van taal en beeld capteren en die bijdraagt tot het verklaren van de geleerde representaties. Om de dialoog tussen een mens en de machine over de gedeelde visuele omgeving in realtime te verwerken en te genereren, moet de machine voortdurend toekomstige situaties voorspellen of anticiperen die een proactieve reactie mogelijk maken (zoals mensen dat doen), waarvoor we principiële modellen missen. Ten slotte reageert een autonome machine in een reële ruimtelijke omgeving, dus het project onderzoekt hoe de continue inhoudsrepresentaties bijdragen tot snelle berekeningen en inferenties in dergelijke ruimtes.

Trefwoorden:Computer vision, Natural language processing, Multimodal understanding, Representation learning, Machine learning

Disciplines:Toegepaste wiskunde, Computerarchitectuur en -netwerken, Distributed computing, Informatiewetenschappen, Informatiesystemen, Programmeertalen, Scientific computing, Theoretische informatica, Visual computing, Andere informatie- en computerwetenschappen