”några andra kommentarer?”Öppna frågor om frågeformulär-en bane eller en bonus till forskning?

olika typer av öppna frågor i undersökningar

det finns fyra typer av frågor som kan kräva ett öppet snarare än stängt svar (se Figur 1). Den allmänna öppna frågan, typiskt ’ några andra kommentarer?’, används i slutet av ett strukturerat frågeformulär är den typ Vi fokuserar på i detta dokument. Vi tror att användningen av denna typ av öppen fråga är vanligt, och vi anser att det är den typ som är mest sannolikt att utgöra ett dilemma för forskare kring huruvida och hur man analyserar eventuella svar.

de potentiella fördelarna med allmänna öppna frågor

allmänna öppna frågor erbjuder ett antal fördelar när man lotsar ett frågeformulär. Svar på dem kan försäkra forskaren om att alla relevanta frågor har täckts . Svar kan också användas för att bekräfta svar på slutna frågor, ge forskaren försäkran om att frågeformuläret är giltigt eller lyfta fram problem med särskilda frågor.

fördelarna med att använda allmänna öppna frågor i huvudstudien är mindre tydliga. De har rekommenderats för att göra en tråkig statistisk rapport mer intressant genom att ge läsaren citat för att illustrera viktiga punkter och i självadministrerade frågeformulär eftersom det finns vissa bevis för att de ökar svarsfrekvensen . Att öka svarsfrekvensen är en stor fördel i undersökningsmetodiken, men det är inte nödvändigtvis frågan som driver forskare att använda allmänna öppna frågor.

forskare kan använda allmänna öppna frågor utan att tänka mycket på varför de gör det, helt enkelt inkludera frågan eftersom det är vanligt. Eller de kan drivas av en önskan att erbjuda respondenterna en möjlighet att uttrycka sin åsikt. Stängda frågor representerar forskarnas agenda, även om de har utvecklats genom att lyssna på människors åsikter i fokusgrupper och djupintervjuer. Användningen av eventuella andra kommentarer kan återställa maktbalansen mellan forskare och forskningsdeltagare. Respondenterna kan ta tillfället i akt att be om förtydligande eller information om en hälsofråga eller hälsovård, eller röst oro om forskningen. Om forskare inkluderar en allmän öppen fråga av denna anledning måste de överväga hur man bäst kan svara på individer om sådana frågor och problem.

en annan möjlig drivkraft för att inkludera en allmän öppen fråga är en oro för att missa en viktig fråga, även om frågeformuläret har utvecklats med hjälp av en betydande mängd kvalitativ forskning och piloting. Det kan finnas frågor som respondenterna vill ge mer information om än de strukturerade frågorna tillåter. Det kan finnas problem som kvalitativa metoder och pilotprojekt misslyckas med att avslöja eftersom de bara påverkar ett litet antal personer, eller de är specifika för undergrupper som inte har inkluderats i utvecklingsarbetet, eller de har inträffat sedan frågeformulärets utformning. Således kan allmänna öppna frågor fungera som ett skyddsnät och hjälpa forskaren att identifiera problem som inte omfattas av de slutna frågorna, antingen genom att utarbeta och förklara några av resultaten från slutna frågor eller identifiera nya problem.

till exempel var syftet med en undersökning av NHS direkta sjuksköterskor att beskriva sjuksköterskans kvalifikationer, erfarenhet och skäl för att gå med i tjänsten . Ett litet antal slutna frågor ställdes om sjuksköterskors syn på att arbeta för den här nya tjänsten, och respondenterna använde den allmänna öppna frågan för att expandera i stor detalj i denna fråga . I andra studier har svar på allmänna öppna frågor utarbetat svar på en sluten fråga och identifierat de aspekter av Tjänsten som bidrog till att NHS Direct-användare kände sig lugna av de råd som erbjuds, förklarar varför juniorläkare ansåg att utbildning inte hade förberett dem för sitt jobb och belyser varför människor var mer nöjda med en akut ambulanssamtaltagare som använder sig av ett prioriterat sändningssystem . Ett exempel på en ny fråga som uppstod efter frågeformulärets utformning var uppkomsten av mediekritik som en oro för läkare i en av en serie årliga undersökningar .

Varför är allmänna öppna frågor ett problem?

efter att ha ställt en allmän öppen fråga kan forskare möta dilemmaet om att analysera svar eller inte. Praktiska begränsningar kan bidra till ett beslut att inte göra det eftersom datainmatning och analys kräver betydande resurser och dessa kanske inte har tilldelats under studiedesignen. Att ignorera dessa data kan dock kännas oetiskt och det har rekommenderats att forskare inte bör ställa öppna frågor om de inte är beredda att analysera svaren . Ett annat hinder kan vara bristen på tydlighet kring svarens status. De tenderar att falla mellan två avföring, varken strikt kvalitativa eller kvantitativa data, och detta kan göra dem obekväma att arbeta med. Denna brist på klarhet i status kan leda till att de inte analyseras eller analyseras och publiceras i organet eller bilagan till en rapport men inte i några peer reviewed artiklar som kommer från studien.

är svaren på allmänna öppna frågor kvalitativa eller kvantitativa data?

vissa forskare anser att svar på allmänna öppna frågor är kvalitativa data , vissa gör det inte , och andra beskriver dem som ’kvasi-kvalitativa data’ . Allmänna öppna frågor har några av funktionerna i kvalitativa tillvägagångssätt: de verkar tillåta respondenterna att skriva vad de vill i sina egna ord, med liten struktur som införts av forskaren; utmatningen är ord snarare än siffror eller fästingar; analysen kan använda tekniker i samband med kvalitativ forskning; och publicering kan innebära visning av ordagranna citat så att det ser ut som kvalitativa data. Data från allmänna öppna frågor kan dock sakna några av de viktigaste styrkorna i kvalitativ forskning. Man kan hävda att de slutna frågorna anger den legitima dagordningen för svaren på den allmänna öppna frågan och därmed kan införa begränsningar för svaren. Ännu viktigare är att det saknas uppmärksamhet på sammanhanget och brist på konceptuell rikedom, eftersom uppgifterna i varje fall ofta består av några meningar eller mindre. Vanligtvis, mottagare ombeds icke-direktiv frågor som ’finns det något annat du vill säga ’eller’ några andra kommentarer?’, med en liten mängd utrymme för svar.

nyckeln till att bestämma statusen för data som härrör från allmänna öppna frågor kan därför vara deras djup; både beloppsmottagarna uppmanas att skriva (antingen genom instruktionerna eller mängden tilldelat utrymme) och det belopp de faktiskt skriver. Således kan forskare kunna bestämma statusen för en allmän öppen fråga i designfasen av en studie genom att ha en strategi för att generera djup och behandla data kvalitativt eller genom att ha en strategi för att generera kortare svar som ett säkerhetsnät för kompletterande eller nya problem. Att ha en sådan strategi kan hjälpa forskare att utforma en strategi för analys och publicering.

generera kvalitativa data genom design

forskare kan bestämma statusen för en allmän öppen fråga vid designfasen av en studie genom att ha en strategi för att generera djup och behandla data kvalitativt. Till exempel, i slutet av ett strukturerat frågeformulär om användning av kinesisk medicin, en forskare uppmanade respondenterna att berätta ’historien’ om deras användning av kinesisk medicin, lämnar en hel och en halv sidor av vitt utrymme, och erbjuder ett exempel på den detalj som krävs. Följande instruktioner gavs: ’berätta nu din egen historia med hjälp av utrymmet på Nästa sida. Vi har gett en sann patienthistoria för att ge dig en uppfattning om vilka detaljer vi behöver. De viktiga ämnena upprepas i listan ovanför det utrymme vi har gett dig att skriva in. Använd också baksidan av sidan om du vill. Kom ihåg att skriva tydligt.’ . Detta tillvägagångssätt gav 460 konton från 575 respondenter (80%). Dessa ’handskrivna berättelser’ behandlades som kvalitativa data, och analys fokuserade på det språk som används av respondenterna, liksom nya teman, för att visa den holistiska karaktären av vården leverans som upplevs av respondenterna.

i exemplet ovan antyder 80% – svaret att de erhållna berättelserna kan ses som representativa för den undersökta befolkningen. I kvalitativ forskning vilar dock inte studiens giltighet på forskarens förmåga att visa representativitet med avseende på den totala befolkningen. Snarare vilar det på överförbarhet där forskaren erbjuder detaljerad beskrivning av den miljö där forskningen genomfördes . Det som krävs är således att provets egenskaper presenteras tydligt, så att läsaren informeras om den troliga överförbarheten av de övertygelser och erfarenheter som uttrycks. Med data från en strukturerad undersökning är det alltid möjligt att använda de kvantitativa svaren för att karakterisera arten av den grupp som lämnar kommentarer och för att göra deras förhållande till den bredare befolkningen uppenbar. Detta innebär att kommentarer från en delmängd av svarare fortfarande är värdefulla data även om de inte representerar hela provet. En viktig följd av detta är att öppna frågor uttryckligen kan utformas för att framkalla kommentarer från en delmängd av den undersökta befolkningen, med hjälp av principerna för målmedveten provtagning . Ett exempel på detta skulle vara att uppmuntra alla respondenter som rapporterar en viss typ av upplevelse i en sluten fråga att berätta sin historia. Ett alternativt tillvägagångssätt skulle vara att prova post hoc från hela utbudet av mottagna svar, till exempel provtagningsinformationsrika fall eller extrema fall.

om den öppna frågan används för att generera kvalitativa data, då forskare kommer att behöva använda kvalitativa analystekniker och eventuellt kvalitativ programvara som används i kinesisk medicin exempel diskuterats tidigare , och kommer att behöva överväga frågor som är viktiga för god kvalitet kvalitativ forskning, såsom tydlig redogörelse för datainsamling och analys, sökandet efter disconfirming bevis och reflexivitet . Kvalitativa forskare förväntar sig att analysen är utmanande och tidskrävande och kommer att se till att de har de resurser som krävs för att genomföra den om avsikten att samla in sådana data är tydlig i forskningsförslaget. Vid rapportering av forskningsresultat från studier med hjälp av intervjuer ansikte mot ansikte är det bra att ange intervjuernas längd. På samma sätt, när du rapporterar data från dessa öppna frågor, kan det vara till hjälp att ange det potentiella djupet av data till läsaren genom att specificera det genomsnittliga antalet textrader som är tillgängliga från respondenterna .

generera kvantifierbara data genom design

allmänna öppna frågor kan ge lite mer än de slutna frågorna i frågeformuläret och snarare än att betrakta det oetiskt att analysera dessa svar, kan en mer lämplig strategi vara preliminär analys som involverar att läsa svaren så att forskaren kan överväga det bidrag de ger till studien övergripande. Om kommentarerna bara bekräftar eller något utarbetar svaren på slutna frågor, kan formell analys inte vara värt . Det kan vara bra att rapportera i publikationer att svaren på den allmänna öppna frågan inte gav ytterligare information till de slutna frågorna. Det är där de erbjuder insikter eller frågor som inte finns i de slutna frågorna som formell analys kan betraktas som god praxis, även om analysens roll är att identifiera hypoteser eller frågor för vidare studier. Formell analys kan föranledas av antingen styrkan i siffror som gör särskilda kommentarer eller styrkan att känna inom ett litet antal kommentarer. Till exempel, i en undersökning av NHS direkta sjuksköterskor, det stora antalet detaljerade kommentarer och känslomässiga innehållet i vissa av dem , föranledde en formell analys, och i en undersökning av junior läkare, styrkan i känslan uttrycks av ett litet antal läkare runt en fråga föranledde formell analys .

ur ett kvantitativt perspektiv är styrkan i en undersökningsmetod representativitet, och därför bör bias för icke-svar vara ett problem. Respondenterna är mindre benägna att fylla i en allmän öppen fråga än en stängd på ett postformulär : 81% av de 71% av de svarande på en undersökning av NHS Direct-användare, det vill säga 58% av provet ; 67% av de 74% av de svarande på en undersökning av NHS Direct nurses, det vill säga 50% av provet ; och 40% av de 74% av de svarande på en undersökning av junior läkare, det är 30% totalt .

de som väljer att svara på den allmänna öppna frågan kan skilja sig från de svarande totalt sett, antingen vara mer artikulerade eller ha ett större intresse för undersökningsämnet. Det är viktigt att överväga och rapportera om vem som har gjort skriftliga kommentarer så att partiskhet kan övervägas. I en patientnöjdhetsundersökning var kvinnor mer benägna att kommentera än män men intressant var det inga signifikanta skillnader efter åldersgrupp eller utbildningsstatus . I en undersökning av NHS direkta sjuksköterskor, andelen sjuksköterskor göra skriftliga kommentarer varierade av deras trivsel nivåer, med sjuksköterskor som kände att deras trivsel hade ’inte riktigt förändrats’ underrepresenterade i de skriftliga kommentarerna och de som kände att det hade ’förvärrats en hel del’ överrepresenterade i de skriftliga kommentarerna . Kommentarerna rapporterades i detta sammanhang.

formell analys måste vara rigorös så att resultaten är användbara och övertygande. Innehållsanalys kan genomföras, där forskaren tar följande steg:

1. Läser en undergrupp av kommentarerna.

2. Utformar en kodningsram för att beskriva det tematiska innehållet i kommentarerna.

3. Tilldelar koderna till alla kommentarer. Kodningsramen kan appliceras med hjälp av programvara avsedd för detta ändamål eller manuellt. Två kodare kan behövas för att testa tillförlitligheten för att tilldela koder .

4. Koderna kan matas in i ett statistiskt paket tillsammans med data från de slutna frågorna och behandlas som variabler i en kvantitativ analys.

kodningsprocessen är tidskrävande och kräver expertis . Kompetensen hos en kvalitativ forskare behövs inte, men kodningen liknar de tidiga stadierna av kvalitativ analys och forskare kanske vill söka råd från en kvalitativ forskare. Alla beslut som fattas kommer att påverka resultaten och därmed är kodningsprocessen anpassad till en skicklig forskare.

vid rapportering av svaren på allmänna öppna frågor är det viktigt att antalet svarande som gör varje kommentar visas, med erkännande att även om ett visst antal personer nämnde ett problem kan det vara relevant för många fler som inte valde att nämna det. Även om siffror snarare än procentsatser tenderar att användas när man rapporterar svar på öppna frågor , är procentsatser ibland det lämpligaste sättet att presentera resultaten, till exempel i en före och efter design med olika antal kommentarer under varje tidsperiod . Ordagranna kommentarer kan visas för att illustrera teman, eftersom det är kommentarerna själva som har övertygat forskaren om vikten av spridning av informationen . När du gör detta, uppmärksamhet på Sekretess är viktigt, se till att inte rapportera kommentarer som kan identifiera en individ.

publicering av svar på öppna frågor

publicering av svar på öppna frågor kan ske i ett papper som rapporterar huvudresultaten i frågeformuläret eller som en separat publikation. När kommentarer utarbeta och förklara resultaten från slutna frågor, kan det vara lämpligast att publicera dem i samma papper . Om en ny utgåva dyker upp kan en separat publikation vara lämplig. För publicering måste både data och analys vara tillräckligt robusta för att klara granskning och peer review.

fördelar och nackdelar med att ha en explicit strategi

en explicit strategi kräver att forskare överväger rollen som en allmän öppen fråga i samband med sin undersökning och dess status när det gäller att generera antingen kvalitativa eller kvantifierbara data. Om frågans roll är att ge en röst till deltagarna kan forskaren se till att kommentarer kommer att läsas för att identifiera eventuella problem och frågor som uttrycks av individer, och att lämpliga åtgärder vidtas med enskilda kommentarer. Om rollen är att generera kvalitativa data kan uppmärksamhet ägnas åt att generera datadjup och kvalitetsfrågor i samband med kvalitativ forskning. Om rollen är att fungera som ett säkerhetsnät och generera kvantifierbara data måste resurser allokeras för att läsa kommentarerna, och om det verkar vara mervärde, för att formellt analysera data med uppmärksamhet på icke-responsförspänning och kodningens tillförlitlighet. Att ha en strategi kan minska eventuella dilemma som forskare står inför om huruvida och hur man analyserar dessa frågor, kan hjälpa forskaren att fördela lämplig tid och expertis till dessa data och kan producera en analys som är tillräckligt robust för publicering i peer reviewed journals. En potentiell nackdel med att ha en sådan strategi kan vara att viss flexibilitet går förlorad och att vissa viktiga frågor saknas. Slutligen kan forskare inte anta att de vet hur man bäst kan underlätta en respondent för att slutföra en allmän öppen fråga och kan behöva överväga att använda kognitiva aspekter av undersökningsmetodik för att konstruera frågan .