«Noen andre kommentarer?»Åpne spørsmål på spørreskjemaer-en bane eller en bonus til forskning?

ulike typer åpne spørsmål i spørreundersøkelser

det finnes fire typer spørsmål som kan kreve et åpent snarere enn lukket svar (Se Figur 1). Det generelle åpne spørsmålet, vanligvis ‘ noen andre kommentarer?’, brukt på slutten av et strukturert spørreskjema er den typen vi fokuserer på i dette papiret. Vi tror at bruken av denne typen åpne spørsmål er vanlig, og vi anser det for å være den typen som mest sannsynlig vil utgjøre et dilemma for forskere rundt om og hvordan man skal analysere eventuelle svar.

de potensielle fordelene med generelle åpne spørsmål

Generelle åpne spørsmål gir en rekke fordeler ved pilotering av et spørreskjema. Svar på dem kan forsikre forskeren om at alle relevante problemer er dekket . Svar kan også brukes til å bekrefte svar på lukkede spørsmål, gi forsikring til forskeren om at spørreskjemaet er gyldig, eller fremheve problemer med bestemte spørsmål.

fordelene ved å bruke generelle åpne spørsmål i hovedstudien er mindre klare. De har blitt anbefalt å bidra til å gjøre en kjedelig statistisk rapport mer interessant, ved å gi leseren sitater for å illustrere viktige punkter, og i selvadministrerte spørreskjemaer fordi det er noen bevis på at de øker responsraten . Å øke svarprosenten er en betydelig fordel i undersøkelsesmetodikken, men det er ikke nødvendigvis problemet som driver forskere til å bruke generelle åpne spørsmål.

Forskere kan bruke generelle åpne spørsmål uten å tenke mye på hvorfor de gjør det, bare inkludere spørsmålet fordi det er vanlig praksis. Eller de kan bli drevet av et ønske om å tilby respondentene en mulighet til å si sin mening. Lukkede spørsmål representerer forskernes agenda, selv om de er utviklet gjennom å lytte til folks synspunkter i fokusgrupper og dybdeintervjuer. Bruk av ‘eventuelle andre kommentarer’ kan avhjelpe maktbalansen mellom forskere og forskningsdeltakere. Respondentene kan benytte anledningen til å be om avklaring eller informasjon om et helseproblem eller helsetjeneste, eller gi uttrykk for bekymring for forskningen. Hvis forskere inkluderer et generelt åpent spørsmål av denne grunn, må de vurdere hvordan man best kan svare på enkeltpersoner om slike spørsmål og bekymringer.

en annen mulig driver for å inkludere et generelt åpent spørsmål er en bekymring for å savne et viktig problem, selv om spørreskjemaet er utviklet ved hjelp av en betydelig mengde kvalitativ forskning og pilotering. Det kan være problemer som respondentene ønsker å gi mer informasjon om enn de strukturerte spørsmålene tillater. Det kan være problemer som kvalitative metoder og pilotering ikke klarer å avdekke fordi de bare påvirker et lite antall personer, eller de er spesifikke for undergrupper som ikke er inkludert i utviklingsarbeidet, eller de har skjedd siden utformingen av spørreskjemaet. Dermed kan generelle åpne spørsmål fungere som et sikkerhetsnett og hjelpe forskeren til å identifisere problemstillinger som ikke dekkes av de lukkede spørsmålene, enten ved å utdype og forklare noen av funnene fra lukkede spørsmål, eller identifisere nye problemstillinger.

for eksempel var formålet med en undersøkelse av NHS Direkte sykepleiere å beskrive sykepleiernes kvalifikasjoner, erfaring og grunner for å bli med i tjenesten . Et lite antall lukkede spørsmål spurte om sykepleiers syn på å jobbe for denne nye tjenesten, og respondentene brukte det generelle åpne spørsmålet til å utvide i betydelig detalj om dette problemet . I andre studier har svar på generelle åpne spørsmål utarbeidet svar på et lukket spørsmål, og identifisert aspektene av tjenesten som bidro Til At Nhs-Direkte brukere følte seg beroliget av rådene som tilbys, forklarte hvorfor junior leger følte at trening ikke hadde forberedt dem på jobben sin, og belyser hvorfor folk var mer fornøyd med en nødambulanseoppringingstaker som brukte et prioriteringssystem. Et eksempel på et nytt problem som oppsto etter utformingen av spørreskjemaet var fremveksten av mediekritikk som en bekymring for leger i en av en rekke årlige undersøkelser .

hvorfor er generelle åpne spørsmål et problem?

etter å ha spurt et generelt åpent spørsmål, kan forskerne møte dilemmaet om å analysere svar eller ikke. Praktiske begrensninger kan bidra til en beslutning om ikke å gjøre det fordi datainngang og analyse krever betydelige ressurser, og disse kan ikke ha blitt tildelt under studiedesignet. Å ignorere disse dataene kan imidlertid føles uetisk, og det har blitt anbefalt at forskere ikke skal stille åpne spørsmål med mindre de er forberedt på å analysere svarene . En annen barriere kan være mangelen på klarhet rundt statusen til svarene. De har en tendens til å falle mellom to avføring, og er verken strengt kvalitative eller kvantitative data, og dette kan gjøre dem ubehagelige å jobbe med. Denne mangelen på klarhet i status kan føre til at de ikke blir analysert, eller blir analysert og publisert i kroppen eller vedlegget til en rapport, men ikke i noen fagfellevurderte artikler som kommer fra studien.

er svar på generelle åpne spørsmål kvalitative eller kvantitative data?

noen forskere anser svar på generelle åpne spørsmål for å være kvalitative data , noen gjør det ikke , og andre beskriver dem som ‘kvasi-kvalitative data’. Generelle åpne spørsmål har noen av funksjonene i kvalitative tilnærminger: de ser ut til å tillate respondenter å skrive hva de vil i sine egne ord, med liten struktur pålagt av forskeren; utgangen er ord i stedet for tall eller flått; analysen kan bruke teknikker knyttet til kvalitativ forskning; og publisering kan innebære visning av ordrette sitater slik at det ser ut som kvalitative data. Men data fra generelle åpne spørsmål kan mangle noen av de viktigste styrkene til kvalitativ forskning. Man kan hevde at de lukkede spørsmålene indikerer den legitime dagsorden for svarene på det generelle åpne spørsmålet, og dermed kan pålegge begrensninger på svar. Enda viktigere er det mangel på oppmerksomhet til kontekst, og mangel på konseptuell rikdom, fordi dataene i hvert tilfelle ofte består av noen få setninger eller mindre. Vanligvis blir mottakerne bedt om ikke-direktivspørsmål som ‘Er det noe annet du vil si ‘eller’ andre kommentarer?’, med en liten mengde plass til svar.

nøkkelen til å bestemme status for data avledet fra generelle åpne spørsmål kan derfor være deres dybde; både beløpet mottakerne blir bedt om å skrive (enten gjennom instruksjonene eller hvor mye plass som er tildelt), og hvor mye de faktisk skriver. Dermed kan forskere være i stand til å bestemme status for et generelt åpent spørsmål på designstadiet av en studie ved å ha en strategi for å generere dybde og behandle dataene kvalitativt, eller ved å ha en strategi for å generere kortere svar som et sikkerhetsnett for komplementære eller nye problemer. Å ha en slik strategi kan hjelpe forskere til å utarbeide en strategi for analyse og publisering.

Generere kvalitative data etter design

Forskere kan bestemme statusen til et generelt åpent spørsmål i designfasen av en studie ved å ha en strategi for å generere dybde og behandle dataene kvalitativt. For eksempel, på slutten av et strukturert spørreskjema om Bruk Av Kinesisk medisin, inviterte en forsker respondentene til å fortelle historien om Deres Bruk Av Kinesisk medisin, og la en hel og en halv side med hvitt rom og gi et eksempel på detaljene som kreves. Følgende instruksjoner ble gitt: ‘fortell oss nå din egen historie, bruk plassen på neste side. Vi har gitt en sann pasienthistorie for å gi deg en ide om hva slags detaljer vi trenger. De viktige fagene gjentas i listen over plassen vi har gitt for deg å skrive inn. Bruk også baksiden av siden hvis du ønsker det. Husk å skrive tydelig.’ . Denne tilnærmingen produserte 460 kontoer fra 575 respondenter (80%). Disse håndskrevne historiene ble behandlet som kvalitative data, og analysen fokuserte på språket som ble brukt av respondentene, samt nye temaer, for å vise den helhetlige naturen til helsevesenet som respondentene opplevde.

i eksemplet ovenfor antyder 80% – svaret at historiene som er oppnådd, kan ses som representative for den undersøkte befolkningen. I kvalitativ forskning hviler imidlertid ikke studiens gyldighet på forskerens evne til å demonstrere representativitet i forhold til den totale befolkningen. Snarere hviler det på overførbarhet, hvor forskeren gir detaljert beskrivelse av innstillingen der forskningen ble gjennomført . Dermed er det som kreves at egenskapene til prøven er tydelig presentert, slik at leseren er informert om den sannsynlige overførbarheten av tro og erfaringer uttrykt. Med data hentet fra en strukturert undersøkelse, er det alltid mulig å bruke de kvantitative svarene til å karakterisere gruppens natur å gi kommentarer, og for å gjøre deres forhold til den bredere befolkningen tydelig. Dette betyr at kommentarer fra et delsett av respondenter fortsatt er verdifulle data selv når de ikke representerer hele utvalget. En viktig konsekvens av dette er at åpne spørsmål kan utformes uttrykkelig for å fremkalle kommentarer fra en delmengde av den undersøkte befolkningen, ved hjelp av prinsippene for målrettet prøvetaking . Et eksempel på dette ville være å oppmuntre alle respondenter som rapporterer en bestemt type erfaring i et lukket spørsmål til å fortelle sin historie. En alternativ tilnærming ville være å prøve post hoc fra hele spekteret av svar mottatt, for eksempel prøvetaking informasjon rike tilfeller eller ekstreme tilfeller.

hvis det åpne spørsmålet brukes til å generere kvalitative data, må forskerne bruke kvalitative analyseteknikker og muligens kvalitativ programvare som brukt i Det Kinesiske medisineksemplet som er diskutert tidligere , og må vurdere spørsmål som er viktige for kvalitativ kvalitativ forskning, for eksempel klar utstilling av datainnsamling og analyse, søket etter diskonfirming bevis og refleksivitet . Kvalitative forskere forventer at analysen vil være utfordrende og tidkrevende, og vil sørge for at de har de ressursene som kreves for å gjennomføre det dersom intensjonen om å samle inn slike data er eksplisitt i forskningsforslaget. Ved rapportering av forskningsresultater fra studier med ansikt-til-ansikt-intervjuer, er det god praksis å angi lengden på intervjuene. På samme måte, når du rapporterer dataene fra disse åpne spørsmålene, kan det være nyttig å angi potensiell datadybde for leseren ved å angi gjennomsnittlig antall tekstlinjer som er tilgjengelige fra respondentene .

Generering av kvantifiserbare data etter design

Generelle åpne spørsmål kan produsere lite mer enn de lukkede spørsmålene på spørreskjemaet, og i stedet for å vurdere det uetisk å analysere disse svarene, kan en mer hensiktsmessig strategi være foreløpig analyse som involverer å lese svarene slik at forskeren kan vurdere bidraget de gir til studien generelt. Hvis kommentarene bare bekrefter eller litt utdyper svarene på lukkede spørsmål, kan formell analyse ikke være verdt . Det kan være god praksis å rapportere i publikasjoner at svarene på det generelle åpne spørsmålet ikke ga ytterligere informasjon til de lukkede spørsmålene. Det er der de gir innsikt eller problemer som ikke er tilgjengelige i de lukkede spørsmålene at formell analyse kan betraktes som god praksis, selv om analysens rolle er å identifisere hypoteser eller spørsmål for videre studier. Formell analyse kan bli bedt om enten styrken av tall som gjør bestemte kommentarer, eller styrken av følelsen i et lite antall av kommentarene. For eksempel, i en undersøkelse AV NHS Direkte sykepleiere, det store antallet detaljerte kommentarer og følelsesmessig innhold av noen av dem, bedt om en formell analyse, og i en undersøkelse av junior leger, styrken av følelsen uttrykt av et lite antall leger rundt ett problem bedt formell analyse .

fra et kvantitativt perspektiv er styrken i en undersøkelsestilnærming representativ, og dermed bør frafallsbias være en bekymring. Respondentene er mindre tilbøyelige til å fullføre et generelt åpent spørsmål enn et lukket på et postspørreskjema : 81% av 71% av respondentene til en undersøkelse Av Nhs Direkte brukere, det er 58% av prøven; 67% av 74% av respondentene til en undersøkelse AV NHS Direkte sykepleiere, det er 50% av prøven; og 40% av 74% av respondentene til en undersøkelse av junior leger, det er 30% samlet .

de som velger å svare på det generelle åpne spørsmålet, kan være forskjellige fra respondentene generelt, enten være mer artikulerte eller ha større interesse for undersøkelsens emne. Det er viktig å vurdere og rapportere om hvem som har gjort skriftlige kommentarer slik at bias kan vurderes. I en pasienttilfredshetsundersøkelse var kvinner mer sannsynlig å komme med kommentarer enn menn, men interessant var det ingen signifikante forskjeller etter aldersgruppe eller utdanningsstatus . I en undersøkelse av NHS Direkte sykepleiere varierte andelen sykepleiere som gjorde skriftlige kommentarer av deres jobbtilfredshet, med sykepleiere som følte at deres jobbtilfredshet ikke hadde endret seg underrepresentert i de skriftlige kommentarene, og de som følte det hadde ‘forverret seg mye’ overrepresentert i de skriftlige kommentarene . Kommentarene ble rapportert i denne sammenheng.

Formell analyse må være streng slik at funnene er nyttige og overbevisende. Innholdsanalyse kan gjennomføres, hvor forskeren tar følgende trinn:

1. Leser et undersett av kommentarene.

2. Utvikler en koderamme for å beskrive det tematiske innholdet i kommentarene.

3. Tilordner kodene til alle kommentarene. Kodingsrammen kan brukes ved hjelp av programvare designet for dette formålet eller manuelt. To kodere kan være nødvendig for å teste påliteligheten av tildeling av koder .

4. Kodene kan legges inn i en statistikkpakke sammen med dataene fra de lukkede spørsmålene og behandles som variabler i en kvantitativ analyse.

kodingsprosessen er tidkrevende og krever kompetanse . Ferdighetene til en kvalitativ forsker er ikke nødvendig, men kodingen ligner de tidlige stadiene av kvalitativ analyse, og forskere kan ønske å søke råd fra en kvalitativ forsker. Eventuelle beslutninger vil påvirke resultatene og dermed kodingsprosessen er egnet til en dyktig forsker.

ved rapportering av svar på generelle åpne spørsmål er det viktig at antall respondenter som kommer med hver kommentar vises, med anerkjennelse av at selv om et bestemt antall personer nevnte et problem, kan det være relevant for mange flere som ikke valgte å nevne det. Selv om tall i stedet for prosenter pleier å bli brukt når du rapporterer svar på åpne spørsmål, vil prosenter noen ganger være den mest hensiktsmessige måten å presentere resultatene på, for eksempel i et før og etter design med forskjellige antall kommentarer i hver tidsperiode . Verbatim kommentarer kan vises for å illustrere temaene, fordi det er kommentarene selv som har overbevist forskeren om betydningen av formidling av informasjonen . Når du gjør dette, oppmerksomhet til konfidensialitet er viktig, tar seg ikke å rapportere kommentarer som kan identifisere en person.

Publisering av svar på åpne spørsmål

Publisering av svar på åpne spørsmål kan skje i et papir som rapporterer hovedfunnene i spørreskjemaet eller som en egen publikasjon. Når kommentarer utdyper og forklarer funn fra lukkede spørsmål, kan det være mest hensiktsmessig å publisere dem i samme papir . Når et nytt problem oppstår, kan en egen publikasjon være hensiktsmessig. For publisering, både data og analyse må være robust nok til å stå opp til gransking og fagfellevurdering.

Fordeler og ulemper ved å ha en eksplisitt strategi

en eksplisitt strategi krever at forskere vurderer rollen som et generelt åpent spørsmål i sammenheng med undersøkelsen, og dets status når det gjelder å generere enten kvalitative eller kvantifiserbare data. Hvis spørsmålet er å gi en stemme til deltakerne, kan forskeren sørge for at kommentarer blir lest for å identifisere eventuelle bekymringer og spørsmål uttrykt av enkeltpersoner, og at det tas passende tiltak med individuelle kommentarer. Hvis rollen er å generere kvalitative data, kan man være oppmerksom på å generere datadybde og kvalitetsproblemer knyttet til kvalitativ forskning. Hvis rollen skal fungere som et sikkerhetsnett og generere kvantifiserbare data, må det tildeles ressurser for å lese kommentarene, og hvis det ser ut til å være merverdi, for formelt å analysere dataene med hensyn til manglende responsbias og pålitelighet av koding. Å ha en strategi kan redusere eventuelle dilemmaer forskerne står overfor om og hvordan de skal analysere disse spørsmålene, kan hjelpe forskeren til å tildele riktig tid og kompetanse til disse dataene, og kan produsere en analyse som er robust nok til publisering i peer reviewed journals. En potensiell ulempe ved å ha en slik strategi kan være at noe fleksibilitet går tapt, og at noen viktige problemer blir savnet. Endelig kan forskere ikke anta at de vet hvordan de best kan lette en respondent for å fullføre et generelt åpent spørsmål, og kanskje må vurdere å bruke kognitive aspekter av undersøkelsesmetodikk for å konstruere spørsmålet .