Reproduceerbaarheid, robuustheid en strengheid van de test: Nieuwe inzichten voor onderzoekers in de psychologie

Dit proefschrift biedt nieuwe inzichten in drie belangrijke onderwerpen van psychologisch onderzoek: reproduceerbaarheid, robuustheid en strengheid van tests. 

Een statistisch resultaat is reproduceerbaar als onafhankelijke onderzoekers met voldoende vaardigheden de juistheid ervan kunnen verifiëren door de onderliggende berekeningen op dezelfde dataset te identificeren en uit te voeren. Door een gebrek aan een cultuur van gegevensuitwisseling en heranalyse in psychologische onderzoek is er zeer weinig bekend over de hoeveelheid rapportagefouten in wetenschapelijk publicaties, noch over de hoeveelheid moeite die het kost om het empirische werk van andere onderzoekers te verifiëren. Om licht te werpen op dit onderwerp, rapporteert Hoofdstuck 1 over de resultaten van een uitgebreide studie die de reproduceerbaarheid onderzocht van de belangrijkste statistische conclusies die zijn getrokken in 46 artikelen die in 2012 in drie APA-tijdschriften zijn gepubliceerd. Door een diepgaande analyse van onze reproductie-inspanningen en de soorten fouten die zijn gevonden, ontwikkelen we een nieuwe taxonomie voor reproduceerbaarheid, geven we praktische aanbevelingen over hoe reproduceerbaarheid kan worden bereikt, en bespreken we de uitdagingen van grootschalige reproduceerbaarheidscontroles en veelbelovende ideeën die kan de reproduceerbaarheid van psychologisch onderzoek aanzienlijk vergroten.

Bij voorkeur zijn statistische bevindingen niet alleen reproduceerbaar, maar ook robuust met betrekking tot redelijke alternatieve data-analyses. Om de robuustheid van een empirische bevinding te beoordelen, stelde Simonsohn et al. (2020) specificatiecurve-analyse (SCA)  voor, een creatieve statistische methode die de gevolgtrekkingen van alle redelijke en haalbare manieren combineert om een reeks ruwe gegevens te analyseren met betrekking tot een wetenschappelijke hypothese. In Hoofdstuk 2 herhalen we eerst de essentie van deze methode en bespreken we theoretische kwesties. Daarna laten we aan de hand van uitgebreide simulaties zien dat de SCA procedure vaak ongeldige p-waarden oplevert. Verder vinden we dat eenvoudigere alternatieven beter presteren dan de SCA-procedure in alle bestudeerde scenario's.

Hoofdstuk 3 is het toevallige resultaat van een onderzoeksproject waarbij gegevens moesten worden gesimuleerd van modellen die zijn gespecificeerd via partiële correlatiestructuren. In dit hoofdstuk leiden we noodzakelijke en voldoende voorwaarden af voor de eigenwaarden van verschillend gedefinieerde partiële correlatiematrices, zodat de correlatiestructuur geldig is. Uitgerust met deze voorwaarden leiden we eenvoudige voorwaarden af voor de partiële correlaties voor vaak veronderstelde ijle structuren. Verder laten we zien dat geldige partiële correlatiematrices kunnen worden gecreëerd via een eenvoudige formule die kan worden gebruikt in combinatie met bestaande algoritmen voor het genereren en benaderen van correlatiematrices.

Nadat ze reproduceerbare en robuuste empirische patronen hebben gevonden, willen psychologische onderzoekers vaak weten wat dit betekent voor de wetenschappelijke hypothese van belang. Vanuit een Popperiaans perspectief zou de bevestigende status van een wetenschappelijke hypothese moeten worden aangepast aan de mate waarin zij een strenge test heeft kunnen doorstaan, dat wil zeggen, aan de mate waarin zij is gebruikt om iets riskants correct te voorspellen. In Hoofdstuk 4 stellen we een gegevensgestuurde methode voor die het mogelijk maakt de risicograad van een empirische voorspelling te kwantificeren die is afgeleid van een inhoudelijke hypothese van belang. We demonstreren deze benadering met een empirisch onderzoek naar de relatie tussen tv-kijken in de vroege kinderjaren en later onvermogen om zich goed te concentreren.