„orice alte comentarii?”Întrebări deschise pe chestionare-o bane sau un bonus pentru cercetare?

diferite tipuri de întrebări deschise în sondaje

există patru tipuri de întrebări care ar putea necesita un răspuns deschis, mai degrabă decât închis (a se vedea Figura 1). Întrebarea deschisă generală, de obicei ‘ orice alte comentarii?’, folosit la sfârșitul unui chestionar structurat este tipul pe care ne concentrăm în această lucrare. Considerăm că utilizarea acestui tip de întrebare deschisă este comună și considerăm că este tipul care este cel mai probabil să reprezinte o dilemă pentru cercetători în ceea ce privește dacă și cum să analizeze răspunsurile.

beneficiile potențiale ale întrebărilor deschise generale

întrebările deschise generale oferă o serie de beneficii atunci când se pilotează un chestionar. Răspunsurile la acestea pot liniști cercetătorul că toate problemele relevante au fost acoperite . Răspunsurile pot fi, de asemenea, utilizate pentru a corobora răspunsurile la întrebări închise, oferind asigurări cercetătorului că chestionarul este valid sau evidențiind probleme cu anumite întrebări.

beneficiile utilizării întrebărilor deschise generale în studiul principal sunt mai puțin clare. Acestea au fost recomandate pentru a ajuta la a face un raport statistic plictisitoare mai interesant , prin furnizarea cititorului cu citate pentru a ilustra puncte importante, și în chestionare auto-administrate, deoarece există unele dovezi că acestea cresc ratele de răspuns . Creșterea ratei de răspuns este un beneficiu considerabil în metodologia sondajului, dar nu este neapărat problema care îi determină pe cercetători să folosească întrebări deschise generale.

cercetătorii pot folosi întrebări deschise generale fără să se gândească prea mult la motivul pentru care fac acest lucru, incluzând pur și simplu întrebarea, deoarece este o practică obișnuită. Sau pot fi conduși de dorința de a oferi respondenților posibilitatea de a-și exprima opinia. Întrebările închise reprezintă agenda cercetătorilor, chiar dacă au fost dezvoltate prin ascultarea opiniilor oamenilor în focus grupuri și interviuri aprofundate. Utilizarea oricăror alte comentarii poate redresa echilibrul de putere dintre cercetători și participanții la cercetare. Respondenții pot profita de această ocazie pentru a cere clarificări sau informații despre o problemă de sănătate sau un serviciu de sănătate sau pentru a-și exprima îngrijorarea cu privire la cercetare. Dacă cercetătorii includ o întrebare deschisă generală din acest motiv, atunci vor trebui să ia în considerare modul cel mai bun de a răspunde persoanelor cu privire la astfel de întrebări și preocupări.

un alt factor posibil pentru includerea unei întrebări generale deschise este îngrijorarea cu privire la lipsa unei probleme importante, chiar dacă chestionarul a fost elaborat folosind o cantitate considerabilă de cercetare calitativă și pilotare. Pot exista probleme despre care respondenții doresc să ofere mai multe detalii decât permit întrebările structurate. Pot exista probleme pe care metodele calitative și pilotarea nu reușesc să le descopere deoarece afectează doar un număr mic de persoane sau sunt specifice subgrupurilor care nu au fost incluse în activitatea de dezvoltare sau au apărut de la elaborarea chestionarului. Astfel, întrebările deschise generale pot acționa ca o plasă de siguranță și pot ajuta cercetătorul să identifice problemele care nu sunt acoperite de întrebările închise, fie prin elaborarea și explicarea unora dintre constatările din întrebările închise, fie prin identificarea de noi probleme.

de exemplu, scopul unui sondaj al Asistenților Medicali direcți NHS a fost de a descrie calificările, experiența și motivele pentru care asistenții medicali s-au alăturat serviciului . Un număr mic de întrebări închise adresate cu privire la opiniile Asistenților Medicali de a lucra pentru acest nou serviciu, iar respondenții au folosit întrebarea deschisă generală pentru a extinde în detaliu considerabil această problemă . În alte studii, răspunsurile la întrebările generale deschise au elaborat răspunsuri la o întrebare închisă, identificând aspectele serviciului care au contribuit la faptul că utilizatorii direcți ai NHS s-au simțit liniștiți de sfaturile oferite , explicând de ce medicii juniori au considerat că instruirea nu i-a pregătit pentru slujba lor și iluminând de ce oamenii erau mai mulțumiți de un apel de ambulanță de urgență care utilizează un sistem de expediere prioritar . Un exemplu de nouă problemă care a apărut după proiectarea chestionarului a fost apariția criticilor mass-media ca preocupare a medicilor într-una dintr-o serie de sondaje anuale .

de ce sunt întrebările deschise generale o problemă?

după ce au pus o întrebare deschisă generală, cercetătorii se pot confrunta cu dilema dacă să analizeze răspunsurile sau nu. Constrângerile practice pot contribui la o decizie de a nu face acest lucru, deoarece introducerea și analiza datelor necesită resurse considerabile și este posibil ca acestea să nu fi fost alocate în timpul proiectării studiului. Cu toate acestea, ignorarea acestor date poate părea lipsită de etică și s-a recomandat ca cercetătorii să nu pună întrebări deschise decât dacă sunt pregătiți să analizeze răspunsurile . O altă barieră poate fi lipsa de claritate în jurul stării răspunsurilor. Acestea tind să se încadreze între două scaune, nefiind nici date strict calitative, nici cantitative, iar acest lucru le poate face incomode să lucreze. Această lipsă de claritate a statutului poate duce la faptul că acestea nu sunt analizate sau analizate și publicate în corpul sau apendicele unui raport, dar nu în cadrul niciunui articol evaluat de colegi care rezultă din studiu.

răspunsurile la întrebările deschise generale sunt date calitative sau cantitative?

unii cercetători consideră că răspunsurile la întrebările deschise generale sunt date calitative , unii nu , iar alții le descriu ca date cvasi-calitative . Întrebările generale deschise au unele dintre caracteristicile abordărilor calitative: ele par să permită respondenților să scrie orice doresc în propriile cuvinte, cu o structură redusă impusă de cercetător; rezultatul este mai degrabă cuvinte decât numere sau căpușe; analiza poate utiliza tehnici asociate cercetării calitative; iar publicarea poate implica afișarea citatelor textuale, astfel încât să pară date calitative. Cu toate acestea, datele din întrebările deschise generale pot lipsi unele dintre punctele forte ale cercetării calitative. S-ar putea argumenta că întrebările închise indică agenda legitimă pentru răspunsurile la întrebarea deschisă generală și, prin urmare, pot impune constrângeri asupra răspunsurilor. Mai important, există o lipsă de atenție la context și o lipsă de bogăție conceptuală, deoarece datele despre fiecare caz constau adesea din câteva propoziții sau mai puțin. De obicei, destinatarilor li se adresează întrebări non-directive, cum ar fi ‘mai doriți să spuneți ceva’ sau ‘orice alte comentarii?’, cu o cantitate mică de spațiu pentru răspunsuri.

cheia pentru determinarea stării datelor derivate din întrebările deschise generale poate fi, prin urmare, profunzimea acestora; atât suma pe care destinatarii sunt rugați să o scrie (fie prin instrucțiunile date, fie prin cantitatea de spațiu alocată), cât și suma pe care o scriu efectiv. Astfel, cercetătorii pot fi capabili să determine starea unei întrebări generale deschise în faza de proiectare a unui studiu, având o strategie pentru a genera profunzime și a trata datele calitativ sau având o strategie pentru a genera răspunsuri mai scurte ca o plasă de siguranță pentru probleme complementare sau noi. O astfel de strategie poate ajuta cercetătorii să elaboreze o strategie de analiză și publicare.

generarea de date calitative prin proiectare

cercetătorii pot determina starea unei întrebări generale deschise în etapa de proiectare a unui studiu, având o strategie de generare a profunzimii și tratarea calitativă a datelor. De exemplu, la sfârșitul unui chestionar structurat despre utilizarea medicinei chineze, un cercetător a invitat respondenții să spună povestea utilizării medicinei chineze, lăsând o pagină completă și jumătate de spațiu alb și oferind un exemplu de detaliu necesar. Au fost date următoarele instrucțiuni: ‘acum spuneți-ne propria poveste, folosind spațiul de pe pagina următoare. Am oferit o poveste adevărată a pacientului pentru a vă oferi o idee despre tipurile de detalii de care avem nevoie. Subiectele importante se repetă în lista de deasupra spațiului pe care vi l-am oferit pentru a scrie. De asemenea, utilizați partea din spate a paginii, dacă doriți. Vă rugăm să nu uitați să scrieți clar.’ . Această abordare a produs 460 de conturi de la 575 de respondenți (80%). Aceste ‘povești scrise de mână’ au fost tratate ca date calitative, iar analiza s-a concentrat pe limbajul folosit de respondenți, precum și pe temele emergente, pentru a arăta natura holistică a furnizării de asistență medicală, așa cum au experimentat respondenții.

în exemplul de mai sus, răspunsul de 80% sugerează că poveștile obținute ar putea fi privite ca reprezentative pentru populația studiată. Cu toate acestea, în cercetarea calitativă, validitatea studiului nu se bazează pe capacitatea cercetătorului de a demonstra reprezentativitatea în raport cu populația totală. Mai degrabă, se bazează pe transferabilitate prin care cercetătorul oferă o descriere detaliată a cadrului în care a fost întreprinsă cercetarea . Astfel, ceea ce este necesar este ca caracteristicile eșantionului să fie prezentate în mod clar, astfel încât cititorul să fie informat despre transferabilitatea probabilă a credințelor și experiențelor exprimate. Cu datele obținute dintr-un sondaj structurat, este întotdeauna posibil să se utilizeze răspunsurile cantitative pentru a caracteriza natura grupului care furnizează comentarii și pentru a face evidentă relația lor cu populația mai largă. Aceasta înseamnă că comentariile de la un subset de respondenți sunt încă date valoroase chiar și atunci când nu reprezintă întregul eșantion. Un corolar important al acestui lucru este că întrebările deschise pot fi concepute în mod expres pentru a obține comentarii de la un subset al populației chestionate, folosind principiile eșantionării intenționate . Un exemplu în acest sens ar fi încurajarea tuturor respondenților care raportează un anumit tip de experiență într-o întrebare închisă să-și spună povestea. O abordare alternativă ar fi eșantionarea post-hoc din întreaga gamă de răspunsuri primite, de exemplu eșantionarea cazurilor bogate în informații sau a cazurilor extreme.

dacă întrebarea deschisă este utilizată pentru a genera date calitative, atunci cercetătorii vor trebui să utilizeze tehnici de analiză calitativă și , eventual, software calitativ, așa cum este utilizat în exemplul de Medicină Chineză discutat anterior și vor trebui să ia în considerare aspecte importante pentru cercetarea calitativă de bună calitate, cum ar fi expunerea clară a colectării și analizei datelor, căutarea dovezilor și reflexivității disconfirmante . Cercetătorii calitativi se așteaptă ca analiza să fie provocatoare și consumatoare de timp și se vor asigura că au resursele necesare pentru a o întreprinde dacă intenția de a colecta astfel de date este explicită în propunerea de cercetare. Atunci când se raportează rezultatele cercetărilor din studii care utilizează interviuri față în față, este o bună practică să se indice durata interviurilor. În mod similar, atunci când raportați datele din aceste întrebări deschise, ar putea fi util să indicați cititorului adâncimea potențială a datelor prin detalierea numărului mediu de linii de text disponibile de la respondenți .

generarea de date cuantificabile prin proiectare

întrebările deschise generale pot produce puțin mai mult decât întrebările închise din chestionar și, mai degrabă decât să considere lipsit de etică analizarea acestor răspunsuri, o strategie mai adecvată ar putea fi analiza preliminară care implică citirea răspunsurilor, astfel încât cercetătorul să poată lua în considerare contribuția pe care o aduc la studiu în ansamblu. Dacă comentariile doar coroborează sau elaborează ușor răspunsurile la întrebările închise, atunci analiza formală poate să nu merite . Ar putea fi o bună practică să se raporteze în cadrul publicațiilor că răspunsurile la întrebarea generală deschisă nu au furnizat informații suplimentare la întrebările închise. În cazul în care oferă informații sau probleme care nu sunt disponibile în întrebările închise, analiza formală ar putea fi considerată o bună practică, chiar dacă rolul acestei analize este de a identifica ipoteze sau întrebări pentru studii ulterioare. Analiza formală poate fi determinată fie de puterea numerelor care fac comentarii particulare, fie de puterea sentimentului într-un număr mic de comentarii. De exemplu, într-un sondaj al Asistenților Medicali direcți NHS, numărul mare de comentarii detaliate și conținutul emoțional al unora dintre ele au determinat o analiză formală , iar într-un sondaj al medicilor juniori, puterea sentimentului exprimată de un număr mic de medici în jurul unei probleme a determinat o analiză formală .

dintr-o perspectivă cantitativă, punctul forte al unei abordări a sondajului este reprezentativitatea și, prin urmare, părtinirea fără răspuns ar trebui să fie o preocupare. Respondenții sunt mai puțin susceptibili să completeze o întrebare deschisă generală decât una închisă pe un chestionar poștal : 81% din cei 71% dintre respondenți la un sondaj al utilizatorilor direcți NHS, adică 58% din eșantion ; 67% din cei 74% dintre respondenți la un sondaj al Asistenților Medicali direcți NHS, adică 50% din eșantion ; și 40% din cei 74% dintre respondenți la un sondaj al medicilor juniori, adică 30% în general .

cei care aleg să răspundă la întrebarea deschisă generală ar putea fi diferiți de respondenți în general, fie fiind mai articulați, fie având un interes mai mare pentru subiectul sondajului. Este important să se ia în considerare și să se raporteze cine a făcut comentarii scrise, astfel încât părtinirea să poată fi luată în considerare. Într-un sondaj de satisfacție a pacienților, femeile au fost mai predispuse să facă comentarii decât bărbații, dar interesant nu au existat diferențe semnificative în funcție de grupa de vârstă sau de statutul educațional . Într-un sondaj al Asistenților Medicali direcți NHS, proporția asistenților medicali care au făcut comentarii scrise a variat în funcție de nivelul lor de satisfacție la locul de muncă, asistenții medicali care au simțit că satisfacția lor la locul de muncă nu s-a schimbat cu adevărat subreprezentată în comentariile scrise și cei care au simțit că s-au înrăutățit mult supra-reprezentați în comentariile scrise . Observațiile au fost raportate în acest context.

analiza formală trebuie să fie riguroasă, astfel încât rezultatele să fie utile și convingătoare. Analiza conținutului poate fi efectuată, în cazul în care cercetătorul ia următoarele măsuri:

1. Citește un sub-set de comentarii.

2. Elaborează un cadru de codificare pentru a descrie conținutul tematic al comentariilor.

3. Atribuie codurile tuturor comentariilor. Cadrul de codificare poate fi aplicat folosind software conceput în acest scop sau manual. Pot fi necesare două codificatoare pentru a testa fiabilitatea atribuirii codurilor .

4. Codurile pot fi introduse într-un pachet statistic alături de datele din întrebările închise și tratate ca variabile într-o analiză cantitativă.

procesul de codificare este consumator de timp și necesită expertiză . Abilitățile unui cercetător calitativ nu sunt necesare, dar codificarea este similară cu etapele timpurii ale analizei calitative, iar cercetătorii ar putea dori să solicite sfatul unui cercetător calitativ. Orice decizie luată va afecta rezultatele și, prin urmare, procesul de codificare este potrivit pentru un cercetător calificat.

atunci când se raportează răspunsurile la întrebări generale deschise, este important ca numărul respondenților care fac fiecare comentariu să fie afișat, cu recunoașterea faptului că, deși un anumit număr de persoane au menționat o problemă, ar putea fi relevant pentru mulți alții care nu au ales să o menționeze. Deși numerele , mai degrabă decât procentele, tind să fie utilizate la raportarea răspunsurilor la întrebări deschise, procentele vor fi uneori cel mai potrivit mod de prezentare a rezultatelor, de exemplu, într-un proiect înainte și după, cu un număr diferit de comentarii în fiecare perioadă de timp . Comentariile textuale pot fi afișate pentru a ilustra temele, deoarece comentariile în sine au convins cercetătorul de importanța diseminării informațiilor . Când faceți acest lucru, atenția la confidențialitate este importantă, având grijă să nu raportați comentarii care ar putea identifica o persoană.

publicarea răspunsurilor la întrebările deschise

publicarea răspunsurilor la întrebările deschise poate avea loc într-o lucrare care raportează principalele constatări ale chestionarului sau ca publicație separată. În cazul în care comentariile elaborează și explică constatările din întrebările închise, ar putea fi cel mai potrivit să le publicăm în aceeași lucrare . În cazul în care apare un nou număr , poate fi adecvată o publicație separată. Pentru publicare, atât datele, cât și analiza trebuie să fie suficient de solide pentru a face față controlului și evaluării inter pares.

avantajele și dezavantajele unei strategii explicite

o strategie explicită necesită ca cercetătorii să ia în considerare rolul unei întrebări generale deschise în contextul sondajului lor și statutul său în ceea ce privește generarea de date calitative sau cuantificabile. Dacă rolul întrebării este de a da o voce participanților, atunci Cercetătorul se poate asigura că comentariile vor fi citite pentru a identifica orice preocupări și Întrebări exprimate de indivizi și că se iau măsuri adecvate cu comentarii individuale. Dacă rolul este de a genera date calitative, atunci se poate acorda atenție generării profunzimii datelor și problemelor de calitate asociate cercetării calitative. Dacă rolul este de a acționa ca o plasă de siguranță și de a genera date cuantificabile, atunci vor trebui alocate resurse pentru citirea comentariilor și, dacă se pare că există valoare adăugată, pentru analizarea formală a datelor, cu atenție la prejudecățile de non-răspuns și la fiabilitatea codificării. Având o strategie poate reduce orice dilemă cu care se confruntă cercetătorii cu privire la posibilitatea și modul de analiză a acestor întrebări, poate ajuta cercetătorul să aloce timpul și expertiza corespunzătoare acestor date și poate produce o analiză suficient de robustă pentru publicarea în reviste evaluate de colegi. Un potențial dezavantaj al unei astfel de strategii poate fi pierderea unei anumite flexibilități și pierderea unor probleme importante. În cele din urmă, cercetătorii nu pot presupune că știu cum să faciliteze cel mai bine un respondent să completeze o întrebare deschisă generală și poate fi necesar să ia în considerare utilizarea aspectelor cognitive ale metodologiei sondajului pentru a construi întrebarea .