Transformer-gebaseerde taalmodellen herdenken als middel voor analyse in zowel de linguïstiek als andere velden met tekst-gedreven methodologieën

Recent onderzoek naar 'machine learning' methodes gebaseerd op neurale 'transformer' architecturen hebben voor grote vooruitgang gezorgd op een brede waaier aan toepassingen in de natuurlijke taal verwerking, zoals machine vertaling en 'natural language understanding' over het algemeen. Voorafgaande studies tonen aan dat het zelf-gesuperviseerde 'language modeling' leerdoel waarop dergelijke neurale methoden worden getraind, modelen oplevert die verscheidene soorten talige kennis impliciet encoderen, bijvoorbeeld woordsoorten, syntactische structuur, and informatie met betrekking tot co-referentie. Het hoofdoel van dit onderzoek is om, door ontleding en aanpassing, transformer architecturen om te vormen tot een middel voor het verkennen en analyseren van taalkundige fenomenen. Daarnaast, in het kader van het CLARIAH-VL werkpakket SIC 5 (Digital Text Analysis Dashboard and Pipeline), zullen we de werkelijke bruikbaarheid van onze inzichten aftoetsen door hen te implimenteren als onderdeel van een reeks applicaties binnen het veld van de digitale humane wetenschappen.