„jakieś inne uwagi?”Pytania otwarte dotyczące kwestionariuszy-zmora czy premia do badań?

różne rodzaje pytań otwartych w ankietach

istnieją cztery rodzaje pytań, które mogą wymagać odpowiedzi otwartej, a nie zamkniętej (patrz rysunek 1). Ogólne pytanie otwarte, zazwyczaj ” jakieś inne uwagi?”, używany na końcu ustrukturyzowanego kwestionariusza jest typem, na którym skupiamy się w niniejszym artykule. Uważamy, że użycie tego typu otwartego pytania jest powszechne i uważamy, że jest to typ, który najprawdopodobniej stanowi dylemat dla naukowców wokół tego, czy i jak analizować jakiekolwiek odpowiedzi.

potencjalne korzyści wynikające z pytań ogólnych otwartych

Pytania ogólne otwarte oferują szereg korzyści podczas pilotowania kwestionariusza. Odpowiedzi na nie mogą uspokoić badacza, że wszystkie istotne kwestie zostały uwzględnione . Odpowiedzi mogą być również wykorzystywane do potwierdzenia odpowiedzi na pytania zamknięte, oferując pewność badaczowi, że kwestionariusz jest ważny, lub podkreślając problemy z poszczególnych pytań.

korzyści z zastosowania ogólnych pytań otwartych w badaniu głównym są mniej jasne. Zalecono, aby uczynić nudny raport statystyczny bardziej interesującym , dostarczając czytelnikowi cytaty ilustrujące ważne punkty, a także w samodzielnych kwestionariuszach, ponieważ istnieją pewne dowody na to, że zwiększają one odsetek odpowiedzi . Zwiększenie wskaźnika odpowiedzi jest znaczną korzyścią w metodologii badań, ale niekoniecznie jest to kwestia, która napędza naukowców do korzystania z ogólnych pytań otwartych.

naukowcy mogą korzystać z ogólnych pytań otwartych, nie zastanawiając się, dlaczego tak robią, po prostu włączając pytanie, ponieważ jest to zwykła praktyka. Lub mogą być napędzane chęcią zaoferowania respondentom możliwości wyrażenia swojej opinii. Zamknięte pytania stanowią program badawczy, nawet jeśli zostały opracowane poprzez słuchanie opinii ludzi w grupach fokusowych i wywiadów pogłębionych. Stosowanie „wszelkich innych uwag” może naruszyć równowagę sił między naukowcami a uczestnikami badań. Respondenci mogą skorzystać z tej okazji, aby poprosić o wyjaśnienie lub informacje na temat problemu zdrowotnego lub służby zdrowia,lub wyrazić zaniepokojenie badaniami. Jeśli naukowcy obejmują ogólne pytanie otwarte z tego powodu, to będą musieli zastanowić się, jak najlepiej odpowiedzieć osobom na takie pytania i obawy.

kolejnym potencjalnym motorem włączenia ogólnego pytania otwartego jest obawa o brak istotnej kwestii, nawet jeśli kwestionariusz został opracowany przy użyciu znacznej ilości badań jakościowych i pilotażowych. Mogą występować problemy, na temat których respondenci chcą podać więcej szczegółów niż pozwalają na to ustrukturyzowane pytania. Mogą pojawić się problemy, których metody jakościowe i pilotaż nie ujawniają, ponieważ dotyczą tylko niewielkiej liczby osób lub są specyficzne dla podgrup, które nie zostały uwzględnione w pracach rozwojowych, lub wystąpiły od czasu opracowania kwestionariusza. Tak więc ogólne pytania otwarte mogą działać jako „siatka bezpieczeństwa” i pomóc badaczowi w identyfikacji kwestii nieobjętych pytaniami zamkniętymi, albo przez opracowanie i wyjaśnienie niektórych ustaleń z pytań zamkniętych, lub identyfikacji nowych problemów.

na przykład celem badania pielęgniarek NHS Direct było opisanie kwalifikacji pielęgniarek, doświadczenia i powodów przystąpienia do służby . Niewielka liczba zamkniętych pytań zadawanych na temat poglądów pielęgniarek na pracę w tej nowej służbie, a respondenci wykorzystali ogólne pytanie otwarte, aby szczegółowo rozwinąć tę kwestię . W innych badaniach odpowiedzi na ogólne pytania otwarte zostały opracowane na temat odpowiedzi na pytanie zamknięte, identyfikując aspekty usługi, które przyczyniły się do tego , że użytkownicy NHS Direct czuli się uspokojeni oferowanymi radami , wyjaśniając, dlaczego młodsi lekarze uważali, że szkolenie nie przygotowało ich do pracy, i wyjaśniając, dlaczego ludzie byli bardziej zadowoleni z przyjmującego pogotowie ratunkowe korzystającego z priorytetowego systemu wysyłkowego . Przykładem nowej kwestii pojawiającej się po opracowaniu kwestionariusza było pojawienie się krytyki medialnej jako zaniepokojenia lekarzy w jednym z serii corocznych badań ankietowych .

dlaczego ogólne pytania otwarte są problemem?

po zadaniu ogólnego pytania otwartego naukowcy mogą stanąć przed dylematem, czy analizować odpowiedzi, czy nie. Praktyczne ograniczenia mogą przyczynić się do podjęcia decyzji, aby tego nie robić, ponieważ wprowadzanie danych i analiza wymagają znacznych zasobów, a te nie mogły nie zostać przydzielone podczas projektowania badania. Jednak ignorowanie tych danych może wydawać się nieetyczne i zaleca się, aby naukowcy nie zadawali otwartych pytań, chyba że są gotowi do analizy odpowiedzi . Inną barierą może być brak jasności co do statusu odpowiedzi. Mają tendencję do wpadania między dwa stolce, nie będąc ani ściśle jakościowymi, ani ilościowymi danymi, a to może sprawić, że będą niewygodni w pracy. Ten brak jasności statusu może spowodować, że nie będą one analizowane lub analizowane i publikowane w treści lub załączniku raportu, ale nie w recenzowanych artykułach pochodzących z badania.

czy odpowiedzi na ogólne pytania otwarte są danymi jakościowymi czy ilościowymi?

niektórzy badacze uważają odpowiedzi na ogólne pytania otwarte za dane jakościowe , niektórzy nie , a inni opisują je jako „dane quasi-jakościowe”. Ogólne pytania otwarte mają pewne cechy podejścia jakościowego: wydają się, aby umożliwić respondentom napisać, co chcą w swoich własnych słowach, z niewielką strukturą narzuconą przez badacza; wyjście to słowa, a nie liczby lub kleszcze; analiza może korzystać z technik związanych z badaniami jakościowymi; i publikacja może obejmować wyświetlanie dosłownych cytatów, aby wyglądało jak dane jakościowe. Jednak w danych z ogólnych pytań otwartych może brakować niektórych kluczowych atutów badań jakościowych. Można by argumentować, że pytania zamknięte wskazują na uzasadniony program odpowiedzi na ogólne pytanie otwarte, a tym samym mogą nakładać ograniczenia na odpowiedzi. Co ważniejsze, brak uwagi na kontekst i brak bogactwa pojęciowego, ponieważ dane dotyczące każdego przypadku często składają się z kilku zdań lub mniej. Zazwyczaj odbiorcy są zadawani pytania niezwiązane z dyrektywą, takie jak „czy jest coś jeszcze, co chciałbyś powiedzieć” lub ” inne uwagi?”, z niewielką ilością miejsca na odpowiedzi.

kluczem do określenia statusu danych pochodzących z ogólnych pytań otwartych może być zatem ich głębokość; zarówno kwota odbiorcy są proszeni o napisanie (poprzez podane instrukcje lub ilość przydzielonego miejsca), jak i kwota, którą faktycznie piszą. W ten sposób naukowcy mogą być w stanie określić status ogólnego pytania otwartego na etapie projektowania badania poprzez strategię generowania głębokości i traktować dane jakościowo, lub poprzez strategię generowania krótszych odpowiedzi jako „siatkę bezpieczeństwa” dla kwestii uzupełniających lub nowych. Taka strategia może pomóc naukowcom w opracowaniu strategii analizy i publikacji.

generowanie danych jakościowych przez projekt

naukowcy mogą określić status ogólnego pytania otwartego na etapie projektowania badania, mając strategię generowania głębokości i traktowania danych jakościowo. Na przykład, na końcu ustrukturyzowanego kwestionariusza na temat stosowania medycyny chińskiej, jeden z naukowców zaprosił respondentów do opowiedzenia „historii” ich stosowania medycyny chińskiej, pozostawiając pełne półtora strony białej przestrzeni i oferując przykład wymaganych szczegółów. Podano następujące instrukcje: „teraz opowiedz nam swoją własną historię, używając spacji na następnej stronie. Dostarczyliśmy jedną prawdziwą historię pacjenta, aby dać ci wyobrażenie o rodzajach szczegółów, których potrzebujemy. Ważne tematy są powtarzane na liście powyżej miejsca, które zapewniliśmy Ci do napisania. Jeśli chcesz, użyj również tylnej części strony. Proszę pamiętać, aby pisać wyraźnie.’ . Podejście to zaowocowało 460 rachunkami 575 respondentów (80%). Te „Odręczne historie” zostały potraktowane jako dane jakościowe, a analiza skupiła się na języku używanym przez respondentów, a także na pojawiających się tematach, aby pokazać holistyczny charakter świadczenia opieki zdrowotnej doświadczanego przez respondentów.

w powyższym przykładzie 80% odpowiedzi sugeruje, że uzyskane historie można uznać za reprezentatywne dla badanej populacji. Jednak w badaniach jakościowych Ważność badania nie zależy od zdolności badacza do wykazania reprezentatywności w odniesieniu do całej populacji. Opiera się raczej na możliwości przenoszenia, przy czym badacz oferuje szczegółowy opis otoczenia, w którym przeprowadzono badania . Dlatego wymagane jest, aby cechy próbki były wyraźnie przedstawione, tak aby czytelnik był informowany o prawdopodobnej przenoszeniu wyrażonych przekonań i doświadczeń. Dzięki danym uzyskanym z usystematyzowanego badania zawsze można wykorzystać odpowiedzi ilościowe do scharakteryzowania charakteru grupy dostarczającej komentarze i uwidocznienia ich związku z szerszą populacją. Oznacza to, że komentarze z podgrupy respondentów są nadal cennymi danymi, nawet jeśli nie reprezentują całej próby. Jednym z ważnych następstw tego jest to, że otwarte pytania mogą być zaprojektowane wyraźnie wywołać komentarze z podzbioru populacji badanych, stosując zasady celowego pobierania próbek . Przykładem tego byłoby zachęcenie wszystkich respondentów zgłaszających konkretny rodzaj doświadczenia w pytaniu zamkniętym do opowiedzenia swojej historii. Alternatywnym podejściem byłoby próbkowanie post hoc z pełnego zakresu otrzymanych odpowiedzi, na przykład przypadków bogatych w informacje lub skrajnych przypadków.

jeśli pytanie otwarte jest używane do generowania danych jakościowych, naukowcy będą musieli użyć technik analizy jakościowej i ewentualnie oprogramowania jakościowego , jak w omawianym wcześniej przykładzie medycyny chińskiej, i będą musieli rozważyć kwestie ważne dla dobrej jakości badań jakościowych, takich jak jasna ekspozycja zbierania i analizy danych, poszukiwanie dowodów potwierdzających i refleksyjność . Badacze jakościowi oczekują, że analiza będzie wymagająca i czasochłonna i zapewnią, że dysponują zasobami wymaganymi do jej przeprowadzenia, jeśli zamiar gromadzenia takich danych jest wyraźny w propozycji badawczej. Przy zgłaszaniu wyników badań z wykorzystaniem wywiadów bezpośrednich dobrą praktyką jest wskazanie długości wywiadów. Podobnie, przy zgłaszaniu danych z tych otwartych pytań, pomocne może być wskazanie potencjalnej głębi danych czytelnikowi, wyszczególniając średnią liczbę wierszy tekstu dostępnych od respondentów .

generowanie wymiernych danych według projektu

ogólne pytania otwarte mogą przynieść niewiele więcej niż pytania zamknięte w kwestionariuszu i zamiast uważać za nieetyczne analizowanie tych odpowiedzi, bardziej odpowiednią strategią może być analiza wstępna obejmująca czytanie odpowiedzi, aby badacz mógł rozważyć wkład, jaki wnoszą do badania. Jeśli Komentarze tylko potwierdzają lub nieco rozbudowują odpowiedzi na zamknięte pytania, analiza formalna może nie być warta zachodu . Dobrą praktyką może być zgłaszanie w publikacjach, że odpowiedzi na ogólne pytanie otwarte nie dostarczyły dodatkowych informacji do pytań zamkniętych. To tam, gdzie oferują one spostrzeżenia lub problemy niedostępne w zamkniętych pytaniach, formalną analizę można uznać za dobrą praktykę, nawet jeśli rolą tej analizy jest identyfikacja hipotez lub pytań do dalszej analizy. Analiza formalna może być spowodowana siłą liczb składających konkretne komentarze lub siłą uczuć w niewielkiej liczbie komentarzy. Na przykład w badaniu pielęgniarek NHS Direct duża liczba szczegółowych komentarzy i zawartość emocjonalna niektórych z nich skłoniła do analizy formalnej, a w badaniu młodych lekarzy Siła uczuć wyrażona przez niewielką liczbę lekarzy wokół jednego problemu skłoniła do analizy formalnej .

z perspektywy ilościowej siłą podejścia ankietowego jest reprezentatywność, a zatem tendencja do braku odpowiedzi powinna być problemem. Respondenci są mniej skłonni do wypełnienia ogólnego pytania otwartego niż zamkniętego w kwestionariuszu pocztowym : 81% z 71% respondentów w badaniu użytkowników NHS Direct, co stanowi 58% próby ; 67% z 74% respondentów w badaniu pielęgniarek NHS Direct, co stanowi 50% próby ; i 40% z 74% respondentów w badaniu młodych lekarzy, co stanowi łącznie 30%.

ci, którzy zdecydują się odpowiedzieć na ogólne pytanie otwarte, mogą różnić się od respondentów ogólnie, albo są bardziej wyartykułowani, albo mają większe zainteresowanie tematem ankiety. Ważne jest, aby rozważyć i zgłosić, kto napisał komentarze, aby można było rozważyć stronniczość. W badaniu satysfakcji pacjentów kobiety częściej zgłaszały uwagi niż mężczyźni, ale co ciekawe nie stwierdzono istotnych różnic w zależności od grupy wiekowej lub statusu edukacyjnego . W ankiecie przeprowadzonej wśród pielęgniarek NHS Direct odsetek pielęgniarek zgłaszających pisemne uwagi różnił się w zależności od poziomu satysfakcji z pracy, przy czym pielęgniarki, które uważały, że ich satysfakcja z pracy „nie zmieniła się”, były niedostatecznie reprezentowane w komentarzach pisemnych, a osoby, które uważały, że „znacznie się pogorszyła”, były zbyt reprezentowane w komentarzach pisemnych . Uwagi zostały zgłoszone w tym kontekście.

Analiza Formalna musi być rygorystyczna, aby wyniki były użyteczne i przekonujące. Można przeprowadzić analizę treści, w której badacz podejmuje następujące kroki:

1. Czyta podzbiór komentarzy.

2. Opracowuje ramkę kodującą opisującą tematyczną treść komentarzy.

3. Przypisuje kody do wszystkich komentarzy. Ramka kodująca może być zastosowana za pomocą oprogramowania zaprojektowanego do tego celu lub ręcznie. Do sprawdzenia wiarygodności przypisywania kodów mogą być potrzebne dwa kodery .

4. Kody mogą być wprowadzane do pakietu statystycznego wraz z danymi z pytań zamkniętych i traktowane jako zmienne w analizie ilościowej.

proces kodowania jest czasochłonny i wymaga specjalistycznej wiedzy. Umiejętności badacza jakościowego nie są potrzebne, ale kodowanie jest podobne do wczesnych etapów analizy jakościowej, a naukowcy mogą chcieć zasięgnąć porady badacza jakościowego. Wszelkie podejmowane decyzje będą miały wpływ na wyniki, a zatem proces kodowania jest odpowiedni dla wykwalifikowanego badacza.

przy zgłaszaniu odpowiedzi na ogólne pytania otwarte ważne jest, aby liczba respondentów zgłaszających każdy komentarz była wyświetlana, z uznaniem, że chociaż określona liczba osób wspomniała o danej kwestii, może to być istotne dla wielu innych, którzy nie zdecydowali się o niej wspomnieć. Chociaż liczby zamiast procentów są zwykle używane podczas zgłaszania odpowiedzi na pytania otwarte, procenty będą czasami najbardziej odpowiednim sposobem prezentacji wyników, na przykład w projekcie przed i po, z różną liczbą komentarzy w każdym przedziale czasowym . Dosłowne komentarze mogą być wyświetlane w celu zilustrowania tematów, ponieważ to same komentarze przekonały badacza o znaczeniu rozpowszechniania informacji . W tym celu należy zwrócić uwagę na poufność i nie zgłaszać komentarzy, które mogłyby zidentyfikować daną osobę.

Publikacja odpowiedzi na pytania otwarte

Publikacja odpowiedzi na pytania otwarte może nastąpić w formie artykułu zawierającego główne ustalenia zawarte w kwestionariuszu lub jako osobna Publikacja. W przypadku gdy komentarze rozwijają i wyjaśniają wnioski z zamkniętych pytań, najbardziej właściwe może być opublikowanie ich w tym samym dokumencie . W przypadku pojawienia się nowego numeru odpowiednia może być osobna Publikacja. W przypadku publikacji zarówno dane, jak i analizy muszą być wystarczająco solidne, aby sprostać kontroli i wzajemnej ocenie.

zalety i wady wyraźnej strategii

wyraźna strategia wymaga, aby naukowcy rozważyli rolę ogólnego otwartego pytania w kontekście ich badania, a jego status pod względem generowania danych jakościowych lub wymiernych. Jeśli rolą pytania jest udzielenie głosu uczestnikom, badacz może zapewnić, że komentarze zostaną odczytane w celu zidentyfikowania wszelkich obaw i zapytań wyrażonych przez osoby, a odpowiednie działania zostaną podjęte z indywidualnymi komentarzami. Jeśli rolą jest generowanie danych jakościowych, można zwrócić uwagę na generowanie głębi danych i kwestie jakości związane z badaniami jakościowymi. Jeśli ma ona pełnić rolę siatki bezpieczeństwa i generować wymierne dane, konieczne będzie przydzielenie środków na czytanie komentarzy, a jeśli okaże się, że istnieje wartość dodana, na formalną analizę danych z uwzględnieniem stronniczości wobec braku odpowiedzi i wiarygodności kodowania. Posiadanie strategii może zmniejszyć wszelkie dylematy napotykane przez naukowców na temat tego, czy i jak analizować te pytania, może pomóc badaczowi przeznaczyć odpowiedni czas i wiedzę specjalistyczną na te dane i może stworzyć analizę wystarczająco solidną do publikacji w recenzowanych czasopismach. Potencjalną wadą takiej strategii może być utrata pewnej elastyczności i pominięcie pewnych ważnych kwestii. Wreszcie, naukowcy nie mogą zakładać, że wiedzą, jak najlepiej ułatwić respondentowi, aby zakończyć ogólne pytanie otwarte i może trzeba rozważyć wykorzystanie poznawczych aspektów metodologii badania skonstruować pytanie .