Psychometrie van MOOCs: Hoe vaardigheid te meten?

De populariteit van onlinecursussen met open toegang en onbeperkte studentparticipatie (MOOCs) is enorm gestegen. Certificaten van de voltooiing van MOOCs- worden een belangrijk element in de portefeuilles van studenten, evenals een extra bron van studiepunten. Daarom hebben studenten, professoren, universiteiten en werkgevers belang bij nauwkeurige metingen van de vaardigheid van studenten in MOOCs. Bestaande psychometrische benaderingen zijn niet onmiddellijk inzetbaar als meetinstrumenten voor MOOCs. De item respons theorie (IRT) lijkt echter een flexibel en goed uitgewerkt raamwerk te zijn waarbinnen modellen kunnen worden afgestemd op MOOCs. Het algemene doel van het doctoraatsproefschrift is dus om uitbreidingen voor te stellen die IRT in staat stellen nauwkeurig de vaardigheid van studenten te meten en constructen te beschrijven die nauw verband houden met de vaardigheid van de studenten in MOOCs.

Het proefschrift bestaat uit vijf hoofdstukken na hetinleidende hoofdstuk – vier empirische en één conceptuele. In de vier empirische hoofdstukken hebben we modeluitbreidingen van het Raschmodel voorgesteld met als doel het oplossen van de volgende problemen. In Hoofdstuk 2 hebben we de bekwaamheidsmaatregelen verbeterd door het effect van pogingen te modelleren en door niet-evaluatiegegevens te betrekken, zoals de interactie van studenten met videocolleges en praktische taken. In Hoofdstuk 3 hebben we individuele groei in vaardigheid gemodelleerd via de MOOC als een effect van de cumulatieve som van videolessen die een student heeft bekeken voordat hij antwoordt op een summatief beoordelingsitem. In Hoofdstuk 4 hebben we een genuanceerder inzicht gegeven in de rol van vaardigheid in de prestaties van de student door een extra latent effect te betrekken, het effect van de interesse van studenten. In Hoofdstuk 5 hebben we een manier voorgesteld om de activiteit van studenten te meten (bijvoorbeeld video’s bekijken, teksten lezen) die worden beïnvloed door een latente studenteigenschap en een latent inhoudskenmerk. De vier onderzoeken zijn uitgevoerd met behulp van het psychometrische raamwerk van kruisclassificatie multiniveau logistische modellen en echte datasets van het Coursera-platform. In het laatste, reflectieve en conceptuele Hoofdstuk 6 hebben we het verband tussen psychometrie als wetenschappelijke discipline en MOOCs als een bedrijfstak samengevat en ideeën voor de toekomstige ontwikkeling van psychometrie van MOOCs geschetst.