< Terug naar vorige pagina

Project

Diepe neurale netwerken als model van spraakperceptie

De ontwikkeling en individualisering van hoorapparaten is uitdagend omdat er geen volledig computationeel model bestaat van het auditief systeem, en geen objectieve methodes voor differentiĆ«le diagnostiek langsheen het volledige auditieve pad. In dit project ontwikkelen we een computationeel model van het auditief systeem, gebaseerd op recente ontwikkelingen in systemen voor automatische spraakherkenning, gebaseerd op diepe leerarchitecturen. We bouwen het model door mensen te laten luisteren naar opnames van natuurlijke spraak, en die te relateren aan het elektroencephalogram (EEG) dat uitgelokt wordt door deze spraaksignalen.We breiden recente ontwikkelingen in diepe leerarchitecturen gebaseerd op de encoder-decoder aanpak uit, zodat ze toegepast kunnen worden op EEG-signalen. We bouwen (1) eerst een systeem om EEG-signalen te voorspellen uit geluidsopnames. We meten in welke mate het spraaksignaal geĆ«ncodeerd is in de hersenen en dit op verschillende niveaus, gaande van fonemen over woorden tot zinnen. Vervolgens (2) pakken we het omgekeerde probleem aan: voorstellingen van spraak op verschillende niveaus decoderen uit het EEG-signaal. Tenslotte (3) valideren we het diepe neurale netwerk als model voor menselijke spraakherkenning.De resultaten hebben toepassingen in gehoorprothesen en in de diagnose van spraak- en taalaandoeningen. We leggen de basis voor het toepassen van diep leren op EEG-signalen en vergaren een databank van aanzienlijke omvang. De integratie van innovatieve technieken uit diep leren op hersendecoders heeft ook mogelijke toepassingen in brein-computer interfaces die robuuster zullen worden en beter in staat zullen zijn om te reageren op de gedachten van de gebruiker.
Datum:1 okt 2018 →  30 sep 2022
Trefwoorden:spraakperceptie, automatische spraakherkenning, diep leren, auditieve neurowetenschappen, EEG
Disciplines:Toegepaste wiskunde, Computerarchitectuur en -netwerken, Distributed computing, Informatiewetenschappen, Informatiesystemen, Programmeertalen, Scientific computing, Theoretische informatica, Visual computing, Andere informatie- en computerwetenschappen, Modellering, Biologische systeemtechnologie, Signaalverwerking, Multimediaverwerking, Neurowetenschappen, Biologische en fysiologische psychologie, Cognitieve wetenschappen en intelligente systemen, Ontwikkelingspsychologie en veroudering