” Altri commenti?”Domande aperte su questionari-una rovina o un bonus alla ricerca?

Diversi tipi di domande aperte nei sondaggi

Esistono quattro tipi di domande che potrebbero richiedere una risposta aperta anziché chiusa (vedi Figura 1). La domanda generale aperta, in genere ‘ altri commenti?”, utilizzato alla fine di un questionario strutturato è il tipo su cui ci concentriamo in questo documento. Riteniamo che l’uso di questo tipo di domanda aperta sia comune e riteniamo che sia il tipo che più probabilmente pone un dilemma per i ricercatori in merito all’opportunità e al modo di analizzare eventuali risposte.

I potenziali benefici di generale questioni aperte

Generale domande aperte offrono una serie di vantaggi quando il pilotaggio di un questionario. Le risposte a loro possono rassicurare il ricercatore che tutte le questioni rilevanti sono state coperte . Le risposte possono anche essere utilizzate per confermare le risposte a domande chiuse, offrendo rassicurazione al ricercatore che il questionario è valido o evidenziando problemi con domande particolari.

I vantaggi dell’utilizzo di domande generali aperte nello studio principale sono meno chiari. Sono stati raccomandati per contribuire a rendere più interessante un rapporto statistico noioso, fornendo al lettore citazioni per illustrare punti importanti e questionari auto somministrati perché ci sono alcune prove che aumentano i tassi di risposta . L’aumento del tasso di risposta è un notevole vantaggio nella metodologia dell’indagine, ma non è necessariamente la questione che spinge i ricercatori a utilizzare domande aperte generali.

I ricercatori possono utilizzare domande aperte generali senza pensare molto al motivo per cui lo stanno facendo, semplicemente includendo la domanda perché è pratica abituale. Oppure possono essere guidati dal desiderio di offrire agli intervistati l’opportunità di esprimere la propria opinione. Le domande chiuse rappresentano l’agenda dei ricercatori, anche se sono state sviluppate attraverso l’ascolto delle opinioni delle persone in focus group e interviste di approfondimento. L’uso di “qualsiasi altro commento” può correggere l’equilibrio di potere tra ricercatori e partecipanti alla ricerca. Gli intervistati possono cogliere l’occasione per chiedere chiarimenti o informazioni su un problema di salute o servizio sanitario, o esprimere preoccupazione circa la ricerca. Se i ricercatori includono una domanda aperta generale per questo motivo, dovranno considerare il modo migliore per rispondere alle persone su tali domande e preoccupazioni.

Un altro possibile driver per l’inclusione di una domanda generale aperta è la preoccupazione di perdere una questione importante, anche se il questionario è stato sviluppato utilizzando una notevole quantità di ricerca qualitativa e pilotaggio. Ci possono essere problemi che gli intervistati vogliono dare più dettagli su di quanto le domande strutturate consentono. Ci possono essere problemi che i metodi qualitativi e il pilotaggio non riescono a scoprire perché riguardano solo un piccolo numero di persone, o sono specifici per sottogruppi che non sono stati inclusi nel lavoro di sviluppo, o si sono verificati dopo la progettazione del questionario. Pertanto, le domande aperte generali possono fungere da “rete di sicurezza” e aiutare il ricercatore a identificare i problemi non coperti dalle domande chiuse, elaborando e spiegando alcuni dei risultati delle domande chiuse o identificando nuovi problemi.

Ad esempio, lo scopo di un sondaggio di infermieri diretti NHS era quello di descrivere le qualifiche degli infermieri, l’esperienza e le ragioni per aderire al servizio . Un piccolo numero di domande chiuse ha chiesto informazioni sulle opinioni degli infermieri sul lavoro per questo nuovo servizio, e gli intervistati hanno utilizzato la domanda generale aperta per approfondire in modo considerevole su questo problema . In altri studi, le risposte generali, domande aperte hanno elaborato le risposte ad una domanda chiusa, identificando gli aspetti del servizio che ha contribuito a NHS Direct utenti di sentirsi rassicurati dal consiglio offerti , spiegando perché junior medici hanno ritenuto che la formazione non era preparato per il loro lavoro , e illuminando perché le persone erano più soddisfatti con un’ambulanza di emergenza chiamata di taker a fare uso di un priority dispatch system . Un esempio di un nuovo problema emerso dopo la progettazione del questionario è stato l’emergere di critiche dei media come preoccupazione dei medici in una serie di sondaggi annuali .

Perché le domande generali aperte sono un problema?

Dopo aver posto una domanda generale aperta, i ricercatori potrebbero affrontare il dilemma se analizzare le risposte o meno. I vincoli pratici possono contribuire alla decisione di non farlo perché l’input e l’analisi dei dati richiedono risorse considerevoli e queste potrebbero non essere state assegnate durante la progettazione dello studio. Tuttavia, ignorare questi dati può sembrare immorale ed è stato raccomandato ai ricercatori di non porre domande aperte a meno che non siano pronti ad analizzare le risposte . Un altro ostacolo potrebbe essere la mancanza di chiarezza sullo stato delle risposte. Tendono a cadere tra due sgabelli, non essendo né dati strettamente qualitativi né quantitativi, e questo può renderli scomodi da lavorare. Questa mancanza di chiarezza di status può comportare che non vengano analizzati o analizzati e pubblicati nell’organismo o nell’appendice di una relazione, ma non all’interno di articoli sottoposti a revisione paritaria emersi dallo studio.

Le risposte alle domande generali aperte sono dati qualitativi o quantitativi?

Alcuni ricercatori considerano le risposte a domande generali aperte come dati qualitativi , altri no e altri li descrivono come “dati quasi qualitativi”. Le domande generali aperte hanno alcune delle caratteristiche degli approcci qualitativi: sembrano consentire agli intervistati di scrivere quello che vogliono con parole proprie, con poca struttura imposta dal ricercatore; l’output è parole piuttosto che numeri o zecche; l’analisi può utilizzare tecniche associate alla ricerca qualitativa; e la pubblicazione può comportare la visualizzazione di virgolette testuali in modo che assomigli a dati qualitativi. Tuttavia, i dati provenienti da domande aperte generali possono mancare di alcuni dei punti di forza chiave della ricerca qualitativa. Si potrebbe sostenere che le domande chiuse indicano l’ordine del giorno legittimo per le risposte alla domanda generale aperta, e quindi possono imporre vincoli alle risposte. Ancora più importante, c’è una mancanza di attenzione al contesto e una mancanza di ricchezza concettuale, perché i dati su ciascun caso spesso consistono in poche frasi o meno. In genere, ai destinatari vengono poste domande non direttive come “C’è qualcos’altro che vorresti dire” o ” Altri commenti?’, con una piccola quantità di spazio per le risposte.

La chiave per determinare lo stato dei dati derivati dalle domande aperte generali può quindi essere la loro profondità; sia la quantità che i destinatari sono invitati a scrivere (attraverso le istruzioni fornite o la quantità di spazio allocato), sia la quantità che effettivamente scrivono. Pertanto, i ricercatori possono essere in grado di determinare lo stato di una domanda generale aperta nella fase di progettazione di uno studio disponendo di una strategia per generare profondità e trattare i dati qualitativamente, o di una strategia per generare risposte più brevi come “rete di sicurezza” per questioni complementari o nuove. Avere una tale strategia può aiutare i ricercatori a elaborare una strategia per l’analisi e la pubblicazione.

Generazione di dati qualitativi per progettazione

I ricercatori possono determinare lo stato di una domanda generale aperta nella fase di progettazione di uno studio disponendo di una strategia per generare profondità e trattare i dati qualitativamente. Ad esempio, alla fine di un questionario strutturato sull’uso della medicina cinese, un ricercatore ha invitato gli intervistati a raccontare la “storia” del loro uso della medicina cinese, lasciando uno spazio bianco di una pagina e mezzo e offrendo un esempio del dettaglio richiesto. Sono state date le seguenti istruzioni: ‘Ora raccontaci la tua storia, usando lo spazio nella pagina successiva. Abbiamo fornito una vera storia del paziente per darvi un’idea del tipo di dettagli di cui abbiamo bisogno. Gli argomenti importanti sono ripetuti nella lista sopra lo spazio che abbiamo fornito per voi a scrivere in. Usa anche il retro della pagina se lo desideri. Si prega di ricordarsi di scrivere chiaramente.’ . Questo approccio ha prodotto 460 conti da 575 intervistati (80%). Queste “storie scritte a mano” sono state trattate come dati qualitativi e l’analisi si è concentrata sul linguaggio utilizzato dagli intervistati, nonché su temi emergenti, per mostrare la natura olistica della fornitura di assistenza sanitaria sperimentata dagli intervistati.

Nell’esempio precedente, la risposta dell ‘ 80% suggerisce che le storie ottenute potrebbero essere considerate rappresentative della popolazione intervistata. Tuttavia, nella ricerca qualitativa la validità dello studio non si basa sulla capacità del ricercatore di dimostrare rappresentatività rispetto alla popolazione totale. Piuttosto, si basa sulla trasferibilità per cui il ricercatore offre una descrizione dettagliata dell’ambiente in cui è stata intrapresa la ricerca . Pertanto, ciò che è necessario è che le caratteristiche del campione siano chiaramente presentate, in modo tale che il lettore sia informato sulla probabile trasferibilità delle convinzioni e delle esperienze espresse. Con i dati ottenuti da un’indagine strutturata, è sempre possibile utilizzare le risposte quantitative per caratterizzare la natura del gruppo che fornisce commenti e rendere evidente la loro relazione con la popolazione più ampia. Ciò significa che i commenti di un sottoinsieme di responder sono ancora dati preziosi anche quando non rappresentano l’intero campione. Un corollario importante di ciò è che le domande aperte possono essere progettate espressamente per suscitare commenti da un sottoinsieme della popolazione intervistata, utilizzando i principi del campionamento mirato . Un esempio di ciò potrebbe essere quello di incoraggiare tutti gli intervistati che riferiscono un particolare tipo di esperienza in una domanda chiusa a raccontare la loro storia. Un approccio alternativo sarebbe quello di campionare post hoc dall’intera gamma di risposte ricevute, ad esempio campionando casi ricchi di informazioni o casi estremi.

Se la domanda aperta viene utilizzata per generare dati qualitativi, i ricercatori dovranno utilizzare tecniche di analisi qualitativa e possibilmente software qualitativo come usato nell’esempio della medicina cinese discusso in precedenza , e dovranno considerare questioni importanti per la ricerca qualitativa di buona qualità, come una chiara esposizione della raccolta e dell’analisi dei dati, la ricerca di prove disconfermanti e riflessività . I ricercatori qualitativi si aspettano che l’analisi sia impegnativa e dispendiosa in termini di tempo e si assicureranno di disporre delle risorse necessarie per intraprenderla se l’intenzione di raccogliere tali dati è esplicita nella proposta di ricerca. Quando si riportano i risultati della ricerca da studi che utilizzano interviste faccia a faccia, è buona pratica indicare la durata delle interviste. Allo stesso modo, quando si riportano i dati di queste domande aperte, potrebbe essere utile indicare la profondità potenziale dei dati al lettore dettagliando il numero medio di righe di testo disponibili dagli intervistati .

Generare dati quantificabili per progettazione

Le domande aperte generali possono produrre poco più delle domande chiuse sul questionario e piuttosto che considerare immorale analizzare queste risposte, una strategia più appropriata potrebbe essere un’analisi preliminare che coinvolge la lettura delle risposte in modo che il ricercatore possa considerare il contributo che apportano allo studio nel complesso. Se i commenti si limitano a confermare o elaborare leggermente le risposte a domande chiuse, allora l’analisi formale potrebbe non essere utile . Può essere buona prassi segnalare all’interno delle pubblicazioni che le risposte alla domanda generale aperta non fornivano informazioni aggiuntive rispetto alle domande chiuse. È dove offrono approfondimenti o questioni non disponibili nelle domande chiuse che l’analisi formale potrebbe essere considerata una buona pratica, anche se il ruolo di questa analisi è quello di identificare ipotesi o domande per ulteriori studi. L’analisi formale può essere richiesta dalla forza dei numeri che fanno commenti particolari o dalla forza del sentimento all’interno di un piccolo numero di commenti. Ad esempio, in un sondaggio di infermieri diretti del NHS, il gran numero di commenti dettagliati e il contenuto emotivo di alcuni di essi , ha indotto un’analisi formale, e in un sondaggio di medici junior, la forza del sentimento espressa da un piccolo numero di medici intorno a un problema ha spinto l’analisi formale .

Da una prospettiva quantitativa, la forza di un approccio di indagine è la rappresentatività, e quindi il bias di non risposta dovrebbe essere una preoccupazione. Gli intervistati hanno meno probabilità di completare una domanda generale aperta rispetto a una chiusa su un questionario postale : 81% del 71% degli intervistati ad un sondaggio di utenti diretti NHS, che è il 58% del campione ; 67% del 74% degli intervistati ad un sondaggio di infermieri diretti NHS, che è il 50% del campione ; e il 40% del 74% degli intervistati ad un sondaggio di medici junior, che è il 30% complessivo .

Coloro che scelgono di rispondere alla domanda generale aperta potrebbero essere diversi dagli intervistati nel complesso, essendo più articolati o avendo un maggiore interesse per l’argomento del sondaggio. È importante considerare e riferire su chi ha fatto commenti scritti in modo che si possa considerare il pregiudizio. In un sondaggio sulla soddisfazione del paziente, le femmine avevano maggiori probabilità di fare commenti rispetto ai maschi, ma è interessante notare che non c’erano differenze significative per fascia di età o stato educativo . In un sondaggio di NHS infermieri diretti, la percentuale di infermieri che fanno commenti scritti variava dai loro livelli di soddisfazione sul lavoro, con gli infermieri che hanno ritenuto che la loro soddisfazione sul lavoro aveva ‘non realmente cambiato’ sottorappresentato nei commenti scritti e coloro che si sentiva che aveva ‘peggiorato molto’ sovrarappresentato nei commenti scritti . Le osservazioni sono state riportate in questo contesto.

L’analisi formale deve essere rigorosa in modo che i risultati siano utili e convincenti. L’analisi del contenuto può essere intrapresa, dove il ricercatore compie i seguenti passi:

1. Legge un sottoinsieme dei commenti.

2. Elabora una cornice di codifica per descrivere il contenuto tematico dei commenti.

3. Assegna i codici a tutti i commenti. Il frame di codifica può essere applicato utilizzando un software progettato per questo scopo o manualmente. Possono essere necessari due programmatori per testare l’affidabilità dell’assegnazione dei codici .

4. I codici possono essere inseriti in un pacchetto statistico insieme ai dati delle domande chiuse e trattati come variabili in un’analisi quantitativa.

Il processo di codifica richiede molto tempo e richiede esperienza . Le competenze di un ricercatore qualitativo non sono necessarie, ma la codifica è simile alle prime fasi dell’analisi qualitativa e i ricercatori potrebbero desiderare di chiedere il parere di un ricercatore qualitativo. Qualsiasi decisione presa influenzerà i risultati e quindi il processo di codifica è adatto a un ricercatore esperto.

Quando si riportano le risposte a domande aperte generali, è importante che vengano visualizzati i numeri degli intervistati che fanno ogni commento, con il riconoscimento che, sebbene un numero specifico di persone abbia menzionato un problema, potrebbe essere rilevante per molti altri che non hanno scelto di menzionarlo. Sebbene i numeri piuttosto che le percentuali tendano ad essere utilizzati quando si riportano le risposte alle domande aperte, le percentuali a volte saranno il modo più appropriato per presentare i risultati, ad esempio, in un progetto prima e dopo con un numero diverso di commenti in ogni periodo di tempo . I commenti testuali possono essere visualizzati per illustrare i temi, perché sono i commenti stessi che hanno convinto il ricercatore dell’importanza della diffusione delle informazioni . Quando si fa questo, l’attenzione alla riservatezza è importante, avendo cura di non segnalare commenti che potrebbero identificare un individuo.

Pubblicazione delle risposte alle domande aperte

La pubblicazione delle risposte alle domande aperte può avvenire all’interno di un documento che riporta i principali risultati del questionario o come pubblicazione separata. Quando i commenti elaborano e spiegano i risultati di domande chiuse, può essere più appropriato pubblicarli nello stesso documento . Qualora emerga un nuovo numero, può essere opportuna una pubblicazione separata. Per la pubblicazione, sia i dati che l’analisi devono essere abbastanza robusti da resistere al controllo e alla revisione tra pari.

Vantaggi e svantaggi di avere una strategia esplicita

Una strategia esplicita richiede che i ricercatori considerino il ruolo di una domanda generale aperta nel contesto della loro indagine e il suo status in termini di generazione di dati qualitativi o quantificabili. Se il ruolo della domanda è quello di dare voce ai partecipanti, il ricercatore può garantire che i commenti vengano letti per identificare eventuali preoccupazioni e domande espresse dagli individui e che venga intrapresa un’azione appropriata con i singoli commenti. Se il ruolo è quello di generare dati qualitativi, si può prestare attenzione alla generazione di profondità di dati e ai problemi di qualità associati alla ricerca qualitativa. Se il ruolo è quello di agire come una rete di sicurezza e generare dati quantificabili, allora le risorse dovranno essere allocate per leggere i commenti e, se sembra esserci un valore aggiunto, per analizzare formalmente i dati con attenzione al bias di non risposta e all’affidabilità della codifica. Avere una strategia può ridurre qualsiasi dilemma affrontato dai ricercatori su se e come analizzare queste domande, può aiutare il ricercatore ad assegnare il tempo e le competenze appropriate a questi dati e può produrre un’analisi abbastanza robusta per la pubblicazione in riviste peer reviewed. Uno svantaggio potenziale di avere una tale strategia può essere che una certa flessibilità è persa e che alcune questioni importanti sono mancate. Infine, i ricercatori non possono presumere di sapere come meglio facilitare un intervistato per completare una domanda aperta generale e potrebbe essere necessario considerare l’utilizzo di aspetti cognitivi della metodologia di indagine per costruire la domanda .