Leren met Conversationele AI. Ontwerp en effectiviteit van dialoog-gebaseerd computer-ondersteund taalleren

Conversationele AI—d.w.z. chatbots, pratende robots, conversatie-agenten en dialoogsystemen—bieden een veelbelovende mogelijkheid voor het leren van talen: een omgeving met weinig angst voor zinvolle interactie, die mogelijk kan worden gecontroleerd op complexiteit en gerichte blootstelling, steigerstrategieën en corrigerende feedback. Maar afgezien van de aantrekkelijke visie die dialooggebaseerde CALL biedt, weten we relatief weinig over hoe echte systemen het in de praktijk doen en hoe verschillende benaderingen zich verhouden in termen van effectiviteit voor het leren. Deze dissertatie probeert deze leemte op te vullen door inzichten te verschaffen uit, ten eerste, een uitgebreide onderzoekssynthese en meta-analyse, en, ten tweede, een grootschalige experimentele evaluatie van twee versies van dialooggebaseerde CALL die verschillen in interactiviteit.

Onze systematische review van de literatuur over dialooggebaseerde CALL (hoofdstuk 2) bood een gestructureerd overzicht van het domein in een conceptueel kader. Op basis van een corpus van 417 publicaties hebben we een operationele definitie van dialooggebaseerde CALL geformaliseerd en een typologie van systemen opgesteld op basis van een continuüm van restricties op vorm en betekenis. We hebben de belangrijkste resultaten van empirische studies naar dergelijke systemen samengevat. We bespraken de impact van dialooggebaseerde CALL op motivatie en L2 ontwikkeling, en identificeerden positieve bewijzen voor beide uitkomsten.

Uit hetzelfde corpus van publicaties hebben we een meta-analyse gemaakt van relevante effectiviteitsstudies (hoofdstuk 3). We analyseerden de 푘 = 100 individuele effect sizes door middel van een multilevel random-effects model. De resultaten bevestigen dat dialooggebaseerde CALL praktijk een significant gemiddeld effect had op de ontwikkeling van L2-vaardigheid (d = 0.58). Onze uitgebreide moderator analyses bevestigden, naast andere inzichten, de effectiviteit van vormen doelgerichte systemen, systeem-gestuurde interacties, het geven van corrigerende feedback, en gamification kenmerken. Significante effecten voor leerlingen met een lagere taalvaardigheid en op woordenschat, morfosyntaxis, holistische taalvaardigheid en nauwkeurigheid zijn vastgesteld.

Gebaseerd op de conclusies van onze meta-analyse hebben we geholpen bij het ontwerpen van een dialooggebaseerd CALL-spel, LanguageHero, dat gecontextualiseerde, betekenisgerichte en langdurige dialogische interacties biedt met niet-spelerpersonages, gestuurd door een reeks microtaken. Het spel implementeerde geautomatiseerde corrigerende feedback, scaffolding via on-demand glossing, output-ondersteunende hints en modelantwoorden, en lichte gamification. We analyseren het dialoog management ontwerp, de beperkingen op betekenis, en het type van gesprekstaken en microtaken die het bevat, evenals de beperkingen (hoofdstuk 4).

We voerden een multisite gecontroleerd experiment uit met 푁 = 215 Nederlandstalige tienerleerders van het Frans. Zij werden cluster-random toegewezen aan drie condities: een Dialoogsysteem conditie, waarbij LanguageHero interactief en dynamisch werd gebruikt, een Dialoog Voltooiing conditie, waarbij dezelfde dialogen in dezelfde interface werden uitgevoerd, maar waarbij de gesprekspartner-kant van het conversatie al werd getoond en statisch was, en een ‘business-as-usual’ controlegroep. We onderzochten het effect van drie sessies van interacties met elk systeem op de perceptie, de betrokkenheid en de woordenschatontwikkeling van de lerenden.

In het bijzonder wilden we het effect meten van interactiviteit in dialooggebaseerde CALL, geoperationaliseerd in ons voorgestelde tweedimensionale model van gebruikerscontrole en tweerichtingscommunicatie (hoofdstuk 5). We zagen geen verschillen in perceptie tussen de twee soorten systemen, behalve voor de pilotversies, maar wel duidelijke verschillen in gedragsmatige en cognitieve taakbetrokkenheid. De afwezigheid van verschillen in perceptie kan worden verklaard door de expliciete beperkingen die voortvloeien uit de microtask prompts, die het emergente karakter en de interactiviteit van de dialoog verminderen. Aan de andere kant wezen de resultaten op een snellere, op vloeiendheid gerichte interactie met het dialoogsysteem, in tegenstelling tot een meer op vorm gericht gedrag bij het afronden van de dialoog.

We stellen vast dat dialooggebaseerde CALL een ecologisch valide en effectieve omgeving is voor incidenteel leren van woordenschat (hoofdstuk 6). We tonen aan dat het effect van de frequentie van voorkomen in de input wordt aangevuld door de frequentie van gebruik in de output als een sterkere voorspeller van het leren van woordenschat. De interactiviteit van het dialoogsysteem verhoogt de hoeveelheid output en het aantal keren dat het doelwoord wordt gebruikt, wat het incidenteel leren van productieve woordkennis enigszins verbetert.

Onze bevindingen suggereren een nieuw begrip van interactiviteit in dialooggebaseerde CALL, niet zozeer als een motiverende kwaliteit van open-endedness en gebruikerscontrole, maar eerder als de intensiteit van de onderhandeling van vorm en betekenis, waarvan interactionele of corrigerende feedback en steigers belangrijke componenten zijn (hoofdstuk 7). Deze interactiviteit verhoogde de betrokkenheid, de productie en dus ook het incidenteel leren. Deze studie toont ook het potentieel aan van dialoogsystemen om ontwerpbare betekenisvolle interacties aan te bieden, die bijzonder waardevol zijn voor autonoom taalleren en voor interactioneel onderzoek.