” enig ander commentaar?”Open vragen op vragenlijsten – een vloek of een bonus voor onderzoek?

verschillende soorten open vragen in enquêtes

er zijn vier soorten vragen die een open in plaats van een gesloten antwoord vereisen (zie Figuur 1). De Algemene open vraag, meestal ‘ andere opmerkingen?’, gebruikt aan het einde van een gestructureerde vragenlijst is het type waarop we ons in deze paper richten. Wij geloven dat het gebruik van dit soort open vraag is gebruikelijk, en we beschouwen het als het type dat is het meest waarschijnlijk een dilemma voor onderzoekers over de vraag of en hoe om het even welke reacties te analyseren vormen.

de potentiële voordelen van algemene open vragen

Algemene open vragen bieden een aantal voordelen bij het testen van een vragenlijst. Reacties hierop kunnen de onderzoeker geruststellen dat alle relevante kwesties zijn behandeld . Antwoorden kunnen ook worden gebruikt om antwoorden op gesloten vragen te bevestigen, de onderzoeker gerust te stellen dat de vragenlijst geldig is, of problemen met specifieke vragen te benadrukken.

de voordelen van het gebruik van algemene open vragen in de hoofdstudie zijn minder duidelijk. Ze zijn aanbevolen om een saai statistisch rapport interessanter te maken , door de lezer citaten te geven om belangrijke punten te illustreren, en in zelf beheerde vragenlijsten omdat er enig bewijs is dat ze de responspercentages verhogen . Het verhogen van het responspercentage is een aanzienlijk voordeel in de enquêtemethodologie, maar het is niet noodzakelijk de kwestie die onderzoekers drijft om algemene open vragen te gebruiken.

onderzoekers kunnen algemene open vragen gebruiken zonder veel na te denken over de reden waarom ze dit doen, gewoon met inbegrip van de vraag, omdat het gebruikelijk is. Of ze kunnen worden gedreven door de wens om respondenten de mogelijkheid te bieden om hun mening te uiten. Gesloten vragen vertegenwoordigen de agenda van de onderzoekers, zelfs als ze zijn ontwikkeld door het luisteren naar de standpunten van mensen in focusgroepen en diepte-interviews. Het gebruik van “andere opmerkingen” kan de machtsbalans tussen onderzoekers en onderzoeksdeelnemers verbeteren. Respondenten kunnen van deze gelegenheid gebruik maken om opheldering of informatie te vragen over een gezondheidsprobleem of gezondheidsdienst, of om hun bezorgdheid over het onderzoek kenbaar te maken. Als onderzoekers een algemene open vraag om deze reden dan zullen ze moeten overwegen hoe het beste om te reageren op individuen over dergelijke vragen en zorgen.

een andere mogelijke drijfveer voor het opnemen van een algemene open vraag is de bezorgdheid over het ontbreken van een belangrijke kwestie, zelfs als de vragenlijst is ontwikkeld met behulp van een aanzienlijke hoeveelheid kwalitatief onderzoek en proefprojecten. Er kunnen problemen zijn waarover respondenten meer details willen geven dan de gestructureerde vragen toelaten. Er kunnen problemen zijn die kwalitatieve methoden en proefprojecten niet aan het licht brengen omdat ze slechts een klein aantal mensen raken, of ze zijn specifiek voor subgroepen die niet in het ontwikkelingswerk zijn opgenomen, of ze hebben plaatsgevonden sinds het ontwerp van de vragenlijst. Zo kunnen algemene open vragen fungeren als een’ vangnet ‘ en helpen de onderzoeker om kwesties te identificeren die niet worden gedekt door de gesloten vragen, hetzij door het uitwerken en uitleggen van een aantal van de bevindingen van gesloten vragen, of het identificeren van nieuwe kwesties.

het doel van een enquête onder NHS directe verpleegkundigen was bijvoorbeeld om de kwalificaties, ervaring en redenen van de verpleegkundigen te beschrijven om tot de dienst toe te treden . Een klein aantal gesloten vragen over de visie van verpleegkundigen op het werken voor deze nieuwe dienst, en de respondenten gebruikten de Algemene open vraag om uitgebreid in detail over deze kwestie . In andere studies zijn antwoorden op algemene open vragen uitgewerkt op antwoorden op een gesloten vraag, waarbij de aspecten van de service werden geïdentificeerd die ertoe hebben bijgedragen dat NHS Direct-gebruikers zich gerustgesteld voelden door het aangeboden advies, werden uitgelegd waarom artsen in opleiding vonden dat ze niet waren voorbereid op hun werk , en werd toegelicht waarom mensen meer tevreden waren met een noodambulanceoproep die gebruik maakte van een systeem voor prioritaire verzending . Een voorbeeld van een nieuwe kwestie die na het ontwerp van de vragenlijst naar voren kwam, was de opkomst van mediakritiek als een punt van zorg van artsen in een van een reeks jaarlijkse enquêtes .

Waarom zijn algemene open vragen een probleem?

na een algemene open vraag te hebben gesteld, kunnen onderzoekers geconfronteerd worden met het dilemma of ze antwoorden al dan niet moeten analyseren. Praktische beperkingen kunnen ertoe bijdragen dat wordt besloten dit niet te doen, omdat voor de invoer en analyse van gegevens aanzienlijke middelen nodig zijn en deze niet tijdens de opzet van het onderzoek niet zijn toegewezen. Het negeren van deze gegevens kan echter onethisch aanvoelen en het is aanbevolen dat onderzoekers geen open vragen moeten stellen, tenzij ze bereid zijn om de antwoorden te analyseren . Een andere barrière kan het gebrek aan duidelijkheid over de status van de reacties zijn. Ze hebben de neiging om te vallen tussen twee ontlasting, noch strikt kwalitatieve noch kwantitatieve gegevens, en dit kan ze ongemakkelijk om mee te werken. Dit gebrek aan duidelijkheid van de status kan ertoe leiden dat ze niet worden geanalyseerd, of worden geanalyseerd en gepubliceerd in de instantie of bijlage van een verslag, maar niet in intercollegiaal getoetste artikelen die uit de studie naar voren komen.

zijn antwoorden op algemene open vragen kwalitatieve of kwantitatieve gegevens?

sommige onderzoekers beschouwen antwoorden op algemene open vragen als kwalitatieve gegevens , sommige niet , en anderen beschrijven ze als “quasi-kwalitatieve gegevens”. Algemene open vragen hebben enkele kenmerken van kwalitatieve benaderingen: ze lijken respondenten in staat te stellen om te schrijven wat ze willen in hun eigen woorden, met weinig structuur opgelegd door de onderzoeker; de output is woorden in plaats van getallen of teken; de analyse kan technieken in verband met kwalitatief onderzoek te gebruiken; en publicatie kan de weergave van verbatim citaten te betrekken, zodat het lijkt op kwalitatieve gegevens. Gegevens uit algemene open vragen kunnen echter een aantal van de belangrijkste sterke punten van kwalitatief onderzoek missen. Men zou kunnen stellen dat de gesloten vragen de legitieme agenda aangeven voor de antwoorden op de Algemene open vraag, en dus beperkingen kunnen opleggen aan de antwoorden. Belangrijker nog, er is een gebrek aan aandacht voor de context, en een gebrek aan conceptuele rijkdom, omdat de gegevens over elk geval vaak bestaan uit een paar zinnen of minder. Typisch, ontvangers worden gesteld niet-richtlijn vragen zoals ‘Is er nog iets anders dat je zou willen zeggen’ of ‘andere opmerkingen?’, met een kleine hoeveelheid ruimte voor reacties.

de sleutel voor het bepalen van de status van gegevens afgeleid van algemene open vragen kan daarom hun diepte zijn; zowel de ontvangers van het bedrag worden gevraagd om te schrijven (hetzij door de gegeven instructies of de hoeveelheid toegewezen ruimte), als het bedrag dat ze daadwerkelijk schrijven. Zo kunnen onderzoekers de status van een algemene open vraag in de ontwerpfase van een studie bepalen door een strategie te hebben om diepte te genereren en de gegevens kwalitatief te behandelen, of door een strategie te hebben om kortere antwoorden te genereren als een ‘vangnet’ voor aanvullende of nieuwe kwesties. Het hebben van een dergelijke strategie kan onderzoekers helpen om een strategie voor analyse en publicatie te bedenken.

het genereren van kwalitatieve gegevens door ontwerp

onderzoekers kunnen de status van een algemene open vraag in de ontwerpfase van een studie bepalen door een strategie te hebben om diepte te genereren en de gegevens kwalitatief te behandelen. Aan het einde van een gestructureerde vragenlijst over het gebruik van Chinese geneeskunde nodigde een onderzoeker respondenten uit om het ‘verhaal’ van hun gebruik van Chinese geneeskunde te vertellen, waarbij een volle anderhalve pagina met witte ruimte werd achtergelaten en een voorbeeld werd gegeven van de vereiste details. De volgende instructies werden gegeven: ‘vertel ons nu je eigen verhaal, gebruik de ruimte op de volgende pagina. We hebben één waar geduldige verhaal gegeven om je een idee te geven van de details die we nodig hebben. De belangrijke onderwerpen worden herhaald in de lijst boven de ruimte die we hebben verstrekt voor u om in te schrijven. Gebruik ook de achterkant van de pagina als je wilt. Vergeet niet duidelijk te schrijven.’ . Deze aanpak leverde 460 accounts op van 575 respondenten (80%). Deze ‘handgeschreven verhalen’ werden behandeld als kwalitatieve gegevens, en de analyse was gericht op de taal die door respondenten werd gebruikt, evenals opkomende thema ‘ s, om het holistische karakter van de gezondheidszorg zoals ervaren door de respondenten aan te tonen.

in het bovenstaande voorbeeld wijst de 80% – respons erop dat de verkregen verhalen als representatief voor de ondervraagde populatie kunnen worden beschouwd. Bij kwalitatief onderzoek berust de geldigheid van de studie echter niet op het vermogen van de onderzoeker om representativiteit ten opzichte van de totale populatie aan te tonen. Het berust veeleer op overdraagbaarheid waarbij de onderzoeker een gedetailleerde beschrijving geeft van de omgeving waarin het onderzoek werd uitgevoerd . Dus wat nodig is dat de kenmerken van de steekproef duidelijk worden gepresenteerd, zodat de lezer wordt geïnformeerd over de waarschijnlijke overdraagbaarheid van de overtuigingen en ervaringen uitgedrukt. Aan de hand van gegevens uit een gestructureerd onderzoek is het altijd mogelijk om de kwantitatieve antwoorden te gebruiken om de aard van de groep die opmerkingen maakt te karakteriseren en hun relatie met de bredere bevolking duidelijk te maken. Dit betekent dat opmerkingen van een subset van responders nog steeds waardevolle gegevens zijn, zelfs als ze niet de volledige steekproef vertegenwoordigen. Een belangrijk gevolg hiervan is dat open vragen uitdrukkelijk kunnen worden ontworpen om commentaar te ontlokken van een subgroep van de ondervraagde bevolking, met behulp van de principes van doelgerichte bemonstering . Een voorbeeld hiervan is het aanmoedigen van alle respondenten die een bepaald type ervaring rapporteren in een gesloten vraag om hun verhaal te vertellen. Een alternatieve benadering zou zijn om post-hoc steekproef te nemen uit het volledige scala van ontvangen antwoorden, bijvoorbeeld steekproeven van informatierijke gevallen of extreme gevallen.

als de open vraag wordt gebruikt om kwalitatieve gegevens te genereren, zullen onderzoekers kwalitatieve analysetechnieken en mogelijk kwalitatieve software moeten gebruiken zoals gebruikt in het eerder besproken Chinese geneeskundevoorbeeld , en zullen zij kwesties moeten overwegen die belangrijk zijn voor kwalitatief hoogstaand onderzoek, zoals een duidelijke uiteenzetting van gegevensverzameling en-analyse, het zoeken naar ontkennend bewijs en reflexiviteit . Kwalitatieve onderzoekers verwachten dat analyses uitdagend en tijdrovend zijn en zullen ervoor zorgen dat ze over de benodigde middelen beschikken om deze uit te voeren als de intentie om dergelijke gegevens te verzamelen expliciet in het onderzoeksvoorstel staat. Bij het rapporteren van onderzoeksbevindingen uit studies met behulp van face-to-face interviews, is het een goede praktijk om de lengte van de interviews aan te geven. Ook bij het rapporteren van de gegevens van deze open vragen, kan het nuttig zijn om de potentiële diepte van de gegevens aan de lezer aan te geven door het gemiddelde aantal regels tekst beschikbaar van respondenten in detail te beschrijven .

het genereren van kwantificeerbare gegevens door opzet

Algemene open vragen kunnen weinig meer opleveren dan de gesloten vragen op de vragenlijst en in plaats van het onethisch te vinden om deze antwoorden te analyseren, zou een geschiktere strategie een voorafgaande analyse kunnen zijn waarbij de antwoorden worden gelezen, zodat de onderzoeker de bijdrage die zij leveren aan het onderzoek in het algemeen kan overwegen. Als de opmerkingen slechts de antwoorden op gesloten vragen bevestigen of licht uitwerken, dan is een formele analyse misschien niet de moeite waard . Het kan een goede praktijk zijn om binnen publicaties te melden dat de antwoorden op de Algemene open vraag Geen aanvullende informatie over de gesloten vragen bevatten. Het is waar ze inzichten of problemen bieden die niet beschikbaar zijn in de gesloten vragen dat formele analyse als goede praktijk kan worden beschouwd, zelfs als de rol van deze analyse is om hypothesen of vragen voor verder onderzoek te identificeren. Formele analyse kan worden ingegeven door ofwel de kracht van getallen die bepaalde opmerkingen maken, of de kracht van het gevoel binnen een klein aantal van de opmerkingen. Bijvoorbeeld, in een onderzoek van NHS directe verpleegkundigen, het grote aantal gedetailleerde opmerkingen en de emotionele inhoud van sommige van hen , leidde tot een formele analyse, en in een onderzoek van artsen in opleiding, de kracht van het gevoel uitgedrukt door een klein aantal artsen rond een kwestie gevraagd formele analyse .

vanuit kwantitatief oogpunt is representativiteit de kracht van een enquêtebenadering, en daarom moet non-respons bias een punt van zorg zijn. Respondenten hebben minder kans om een algemene open vraag in te vullen dan een gesloten vraag op een postvragenlijst : 81% van de 71% van de respondenten op een enquête onder NHS directe gebruikers, dat is 58% van de steekproef ; 67% van de 74% van de respondenten op een enquête onder NHS directe verpleegkundigen, dat is 50% van de steekproef ; en 40% van de 74% van de respondenten op een enquête onder artsen in opleiding, dat is 30% in totaal .

degenen die ervoor kiezen de Algemene open vraag te beantwoorden, kunnen verschillen van de respondenten in het algemeen, omdat zij meer uitgesproken zijn of meer belangstelling hebben voor het onderwerp van de enquête. Het is belangrijk om te overwegen en verslag uit te brengen over wie schriftelijke opmerkingen heeft gemaakt, zodat vooringenomenheid kan worden overwogen. In een patiënttevredenheidsonderzoek hadden vrouwen meer kans om opmerkingen te maken dan mannen, maar interessant genoeg waren er geen significante verschillen per leeftijdsgroep of opleidingsstatus . In een enquête onder direct verpleegkundigen van de NHS varieerde het percentage verpleegkundigen dat schriftelijke opmerkingen maakte door hun werktevredenheid, waarbij verpleegkundigen die van mening waren dat hun werktevredenheid “niet echt veranderd” was ondervertegenwoordigd in de schriftelijke opmerkingen en degenen die vonden dat het “veel verergerd” was oververtegenwoordigd in de schriftelijke opmerkingen . De opmerkingen werden in dit verband gerapporteerd.

de formele analyse moet strikt zijn, zodat de bevindingen nuttig en overtuigend zijn. Inhoudsanalyse kan worden uitgevoerd wanneer de onderzoeker de volgende stappen neemt:

1. Leest een sub-set van de opmerkingen.

2. Ontwikkelt een coderingskader om de thematische inhoud van de commentaren te beschrijven.

3. Wijst de codes toe aan alle opmerkingen. Het codeerframe kan worden toegepast met behulp van software die voor dit doel is ontworpen of handmatig. Er kunnen twee programmeurs nodig zijn om de betrouwbaarheid van het toewijzen van codes te testen .

4. De codes kunnen worden ingevoerd in een statistisch pakket naast de gegevens van de gesloten vragen en behandeld als variabelen in een kwantitatieve analyse.

het coderingsproces is tijdrovend en vereist deskundigheid . De vaardigheden van een kwalitatieve onderzoeker zijn niet nodig, maar de codering is vergelijkbaar met de vroege stadia van kwalitatieve analyse en onderzoekers kunnen het advies van een kwalitatieve onderzoeker in te winnen. Alle genomen beslissingen zullen de resultaten beà nvloeden en dus is het codeerproces geschikt voor een ervaren onderzoeker.

bij het rapporteren van de antwoorden op algemene open vragen is het belangrijk dat het aantal respondenten dat elke opmerking maakt, wordt weergegeven, met erkenning dat, hoewel een specifiek aantal personen een kwestie noemde, het relevant kan zijn voor veel meer mensen die er niet voor kozen het te vermelden. Hoewel bij het rapporteren van antwoorden op open vragen meestal getallen in plaats van percentages worden gebruikt , zullen percentages soms de meest geschikte manier zijn om de resultaten te presenteren, bijvoorbeeld in een ontwerp voor en na, met verschillende aantallen opmerkingen in elke periode . Woordelijk commentaar kan worden weergegeven om de thema ‘ s te illustreren , omdat het de commentaren zelf zijn die de onderzoeker hebben overtuigd van het belang van de verspreiding van de informatie . Daarbij is aandacht voor vertrouwelijkheid van belang, en let erop dat er geen opmerkingen worden gerapporteerd die een individu kunnen identificeren.

publicatie van antwoorden op open vragen

publicatie van antwoorden op open vragen kan plaatsvinden in een document waarin de belangrijkste bevindingen van de vragenlijst worden vermeld of in een afzonderlijke publicatie. Wanneer in de commentaren bevindingen van gesloten vragen worden uitgewerkt en toegelicht, kan het het meest aangewezen zijn deze in hetzelfde document te publiceren . Wanneer een nieuw nummer verschijnt , kan een afzonderlijke publicatie wenselijk zijn. Voor publicatie moeten zowel de gegevens als de analyse robuust genoeg zijn om toetsing en collegiale toetsing te kunnen doorstaan.

voor-en nadelen van een expliciete strategie

een expliciete strategie vereist dat onderzoekers de rol van een algemene open vraag in de context van hun enquête, en de status ervan in termen van het genereren van kwalitatieve of kwantificeerbare gegevens overwegen. Als de rol van de vraag is om een stem te geven aan de deelnemers dan kan de onderzoeker ervoor zorgen dat opmerkingen worden gelezen om eventuele zorgen en vragen geuit door individuen te identificeren, en dat passende actie wordt ondernomen met individuele opmerkingen. Als de rol bestaat in het genereren van kwalitatieve data, dan kan er aandacht worden besteed aan het genereren van diepte van data en de kwaliteitskwesties in verband met kwalitatief onderzoek. Om als vangnet te fungeren en kwantificeerbare gegevens te genereren, moeten middelen worden toegewezen voor het lezen van de commentaren, en als er een toegevoegde waarde lijkt te zijn, voor het formeel analyseren van de gegevens met aandacht voor non-respons bias en betrouwbaarheid van de codering. Het hebben van een strategie kan elk dilemma van onderzoekers over de vraag of en hoe deze vragen te analyseren verminderen, kan de onderzoeker helpen om de juiste tijd en expertise toe te wijzen aan deze gegevens, en kan een analyse robuust genoeg voor publicatie in peer reviewed tijdschriften produceren. Een mogelijk nadeel van een dergelijke strategie kan zijn dat enige flexibiliteit verloren gaat en dat een aantal belangrijke kwesties worden gemist. Ten slotte kunnen onderzoekers er niet van uitgaan dat ze weten hoe ze het beste een respondent kunnen helpen om een algemene open vraag te voltooien en moeten ze wellicht overwegen om cognitieve aspecten van de enquãatemethodologie te gebruiken om de vraag te construeren .