Zwak begeleide training van automatisch spraakherkenning systeem

End-to-end automatische spraakherkenning systemen (E2E ASR) hebben steeds meer belangstelling gekregen vanwege eenvoudige modelpijplijnen, maar er is tegelijkertijd een grote hoeveelheid getranscribeerde gegevens nodig voor training. Zwak gesuperviseerd leren is een mogelijke oplossing om de afhankelijkheid van gegevens te verminderen. In dit onderzoeksproject zullen we een zwak gesuperviseerd E2E ASR-systeem promoten dat gebruik maakt van enorme videogegevens met ondertitels als invoer. Ook generatieve tegenstander netwerken (GAN) zullen in het raamwerk worden geïntroduceerd om de bias tussen zwakke labels en echte gegevens te leren. Verder zullen we meer trainingsstrategieën onderzoeken, zoals curriculum leren, student-leraar benaderingen en kennisdestillatie om het trainingsproces te stabiliseren.