An assessment of interviewer characteristics data for explaining interviewer effects on measurement and nonresponse in face-to-face survey data collection

Dit proefschrift behandelt de vraag welke informatie over interviewerkenmerken nuttig is om te verzamelen om geobserveerde interviewereffecten in enquêtedata te verklaren. We maakten een systematische evaluatie van de verklarende kracht van persoonlijke interviewerkenmerken en interviewerrolkenmerken, voor nonrespons en voor inhoudelijke enquêtevariabelen in vier rondes van de European Social Survey in België (Rondes 5 tot 8). We hebben gebruik gemaakt van een uitgebreide set verklarende variabelen op interviewerniveau, afgeleid van (a) personeels- en projectgegevens (traditionele “gevonden” informatie over interviewerkenmerken), (b) gespecialiseerde vragenlijsten voor interviewers, zowel aan het begin als aan het einde van het veldwerk (traditionele “ontworpen” informatie over interviewerkenmerken), (c) "taak als respondent" interviewergegevens, verkregen van de interviewers die de vragenlijst zelf invulden (niet‍-‍traditionele "gevonden" informatie over interviewerkenmerken).

De interviewers hadden een grote invloed op de responspercentages en, ondanks training in gestandaardiseerd interviewen en nauwgezette monitoring, ook een zekere invloed op de meting van inhoudelijke variabelen in de interviews. We schatten dat 25%-32% van de variantie in het leggen van contact met huishoudens, 6%-8% van de variantie in het verkrijgen van medewerking, en gemiddeld 3% van de variantie in enquêtevariabelen (en zelfs veel meer voor sommige van de vragen over homoseksualiteit, immigratie en waardenoriëntaties), op het interviewerniveau ligt.

Voor zover de delen van de steekproef toegewezen aan de verschillende interviewers qua samenstelling vergelijkbaar zijn, is de interviewervariantie (voortvloeiend uit de systematische verschillen tussen interviewers) direct toe te schrijven aan de actieve en passieve invloeden van de interviewers. De aanwezigheid van interviewervariantie in inhoudelijke variabelen en in kwaliteitsindicatoren suggereert dat bepaalde, min of meer stabiele, kenmerken van interviewers verband houden met de manier waarop interviewers hun taken uitvoeren. Hoewel er een aanzienlijke hoeveelheid onderzoek naar interviewereffecten bestaat, blijven de oorzaken van interviewervariantie grotendeels onverklaard.

Om de interviewervariantie in nonrespons en de antwoorden van de respondenten op de enquêtevragen te verklaren, schatten we een reeks multilevel regressiemodellen, met metingen op het niveau van de respondenten genest binnen de interviewers, en met verschillende (groepen van) verklarende variabelen op het interviewerniveau.

We gebruikten een uniforme modelleringsaanpak en, in het centrale gedeelte van dit proefschrift, concentreerden ons op een set gebruikelijke variabelen op interviewerniveau die op dezelfde manier gemeten werden in elk van de vier enquêterondes. Dit liet ons toe om het grootste deel van de analyse te repliceren over de vier enquêterondes, om zo de betrouwbaarheid van de bevindingen te evalueren. Er waren maar weinig resultaten die stand hielden over de vier datasets.

We concluderen dat de verklarende kracht van de meeste interviewerkenmerken, zoals ze traditioneel worden verkregen uit personeels- en projectgegevens, of gemeten aan de hand van gespecialiseerde interviewervragenlijsten, over het algemeen bescheiden is. De gemakkelijkst beschikbare interviewerkenmerken, verkregen uit personeelsgegevens (leeftijd en geslacht van de interviewer) en projectgegevens (enquêtespecifieke ervaring) bleken weinig zinvol te zijn om de interviewervariantie in de responspercentages of de interviewervariantie in enquêtevariabelen te verklaren.

Sommige specifieke interviewerrolkenmerken die verband houden met aspecten van de ervaring van de interviewers en de verwachtingen voor het veldwerk, bleken wel nuttig. Het verwachte responspercentage van interviewers kwam naar voren als de belangrijkste voorspeller van zowel contactpercentages als deelnamepercentages. Interviewers die hogere responspercentages verwachtten, waren succesvoller in het verkrijgen van samenwerking alsook even of meer succesvol in het leggen van contact met huishoudens. Op zichzelf verklaarde deze variabele tussen nul en 15% van de interviewervariantie in het leggen van contact met huishoudens, en tussen 12% en 34% van de interviewervariantie in het verkrijgen van medewerking. Ook zagen we dat de meer ervaren interviewers (en de interviewers die tegelijkertijd bij minder andere onderzoeksprojecten betrokken zijn) gemiddeld lagere contactpercentages behaalden, zonder dat voldoende te compenseren door hogere deelnamepercentages. Opmerkelijk is ook dat de ervaring van de interviewer en het verwachte responspercentage in sommige gevallen ook een bescheiden tot groot aandeel van de interviewervariantie in enquêtevariabelen verklaren. Deze twee interviewerkenmerken lijken een relevant aspect op te pikken van wat een professionele enquête-interviewer maakt, en dat verband houdt met de actieve invloed van interviewers bij het afnemen van de vragenlijst.

We hebben ook enkele modeluitbreidingen getest met behulp van aanvullende verklarende variabelen op interviewerniveau die verband houden met de respectievelijke taken van de interviewer. De resultaten van Ronde 7 en Ronde 8 tonen dat de houding van interviewers ten opzichte van het overtuigen van respondenten en een interne locus van succesattributie positief gerelateerd kunnen zijn aan hun success in het leggen van contact en het verkrijgen van medewerking. De resultaten van Ronde 7 leveren geen enkel bewijs dat zelfgerapporteerde interviewgedrag, training, gelijktijdige dienstverband of de werkbeleving van de interviewers de inhoudelijke interviewervariantie verklaren. De werkmotivaties van de interviewers lijken daarentegen op de een of andere manier wel verband te houden met de antwoorden van de respondenten op sommige enquêtevragen.

We presenteerden ook twee studies die een ander type “gevonden” informatie over interviewerkenmerken illustreren. Informatie werd verkregen van interviewers die de vragenlijst zelf invulden als onderdeel van hun voorbereiding op hun interviewwerk. "Taak als respondent" data is een bijproduct van het enquêteproces, waaruit verklarende variabelen op interviewerniveau kunnen worden verkregen die nauw verband houden met de taak van het interviewen van respondenten. Een eerste illustratie bekeek alleen de formele aspecten van "taak als respondent" data. We vonden steun voor enkele van de veronderstelde associaties tussen kenmerken van responsgedrag van interviewers en respondenten, met name voor nonrespons op de inkomensvraag, voor meervoudige respons en voor interviewsnelheid. Een tweede illustratie bekeek inhoudelijke aspecten van “taak als respondent” data. We vonden een sterke ondersteuning voor de veronderstelde associatie tussen de specifieke overtuigingen en posities van interviewers en respondenten (nl. tussen de antwoorden van interviewers en respondenten op dezelfde enquêtevragen). Zoals deze twee onderzoeken illustreren, is de taak als respondent—waarbij interviewers de vragenlijst zelf invullen—niet alleen waardevol voor interviewers om vertrouwd te raken met de vragenlijst, maar levert het ook nuttige informatie over de interviewers op, bijna zonder extra kosten. De interviewerkenmerken die in deze twee onderzoeken zijn onderzocht, zijn minder conventioneel, maar zijn over het algemeen minstens even of zelfs informatiever om de interviewervariantie in enquêtevariabelen te verklaren dan sociodemografische kenmerken van interviewers of typische interviewerrolkenmerken verkregen met behulp van gespecialiseerde interviewervragenlijsten.

We pleiten ervoor om verder onderzoek te voeren naar dit soort “gevonden” informatie over interviewerkenmerken, en bij uitbreiding naar kenmerken gebaseerd op enquêteparadata zoals tijdsaanduideingen van interviews, contact- en toewijzingsdata, en transcripties van audio-opnames van interviews, die allemaal nauw samenhangen met de manier waarop de interviewers hun verschillende taken uitvoeren of in het verleden uitvoerden.