„Weitere Kommentare?“ Offene Fragen zu Fragebögen – ein Fluch oder ein Bonus für die Forschung?

Verschiedene Arten von offenen Fragen in Umfragen

Es gibt vier Arten von Fragen, die möglicherweise eine offene und keine geschlossene Antwort erfordern (siehe Abbildung 1). Die allgemeine offene Frage, typischerweise ‚irgendwelche anderen Kommentare?‘, am Ende eines strukturierten Fragebogens verwendet wird, ist der Typ, auf den wir uns in diesem Papier konzentrieren. Wir glauben, dass die Verwendung dieser Art von offener Frage weit verbreitet ist, und wir halten sie für die Art, die Forscher am ehesten vor ein Dilemma stellt, ob und wie Antworten analysiert werden sollen.

Die potenziellen Vorteile von allgemeinen offenen Fragen

Allgemeine offene Fragen bieten eine Reihe von Vorteilen beim Pilotieren eines Fragebogens. Antworten auf sie können dem Forscher versichern, dass alle relevanten Themen behandelt wurden . Antworten können auch verwendet werden, um Antworten auf geschlossene Fragen zu bestätigen, dem Forscher die Gewissheit zu geben, dass der Fragebogen gültig ist, oder Probleme mit bestimmten Fragen hervorzuheben.

Die Vorteile der Verwendung allgemeiner offener Fragen in der Hauptstudie sind weniger klar. Sie wurden empfohlen, um einen langweiligen statistischen Bericht interessanter zu gestalten , indem sie dem Leser Zitate zur Veranschaulichung wichtiger Punkte und in selbst verwalteten Fragebögen zur Verfügung stellen, da es Hinweise darauf gibt, dass sie die Rücklaufquoten erhöhen . Die Erhöhung der Antwortrate ist ein erheblicher Vorteil in der Erhebungsmethodik, aber es ist nicht unbedingt das Problem, das Forscher dazu bringt, allgemeine offene Fragen zu verwenden.

Forscher können allgemeine offene Fragen verwenden, ohne viel darüber nachzudenken, warum sie dies tun, und einfach die Frage einbeziehen, da dies übliche Praxis ist. Oder sie werden von dem Wunsch getrieben, den Befragten die Möglichkeit zu geben, ihre Meinung zu äußern. Geschlossene Fragen stellen die Agenda der Forscher dar, auch wenn sie durch das Anhören der Ansichten der Menschen in Fokusgruppen und Tiefeninterviews entwickelt wurden. Die Verwendung anderer Kommentare kann das Machtgleichgewicht zwischen Forschern und Forschungsteilnehmern wieder herstellen. Die Befragten können diese Gelegenheit nutzen, um um Klärung oder Informationen zu einem Gesundheitsproblem oder einem Gesundheitsdienst zu bitten oder Bedenken hinsichtlich der Forschung zu äußern. Wenn Forscher aus diesem Grund eine allgemeine offene Frage stellen, müssen sie überlegen, wie sie am besten auf Personen mit solchen Fragen und Bedenken reagieren können.

Ein weiterer möglicher Treiber für die Aufnahme einer allgemeinen offenen Frage ist die Sorge, ein wichtiges Thema zu verpassen, auch wenn der Fragebogen mit viel qualitativer Forschung und Pilotierung entwickelt wurde. Es kann Probleme geben, zu denen die Befragten mehr Details angeben möchten, als die strukturierten Fragen zulassen. Es kann Probleme geben, die qualitative Methoden und Pilotierung nicht aufdecken, weil sie nur eine kleine Anzahl von Personen betreffen, oder sie sind spezifisch für Untergruppen, die nicht in die Entwicklungsarbeit einbezogen wurden, oder sie sind seit der Gestaltung des Fragebogens aufgetreten. So können allgemeine offene Fragen als ‚Sicherheitsnetz‘ fungieren und dem Forscher helfen, Probleme zu identifizieren, die nicht von den geschlossenen Fragen abgedeckt werden, entweder durch Ausarbeitung und Erläuterung einiger der Ergebnisse aus geschlossenen Fragen oder durch Identifizierung neuer Probleme.

Ziel einer Umfrage unter NHS Direct Nurses war es beispielsweise, die Qualifikationen, Erfahrungen und Gründe der Krankenschwestern für den Beitritt zum Dienst zu beschreiben . Eine kleine Anzahl geschlossener Fragen wurde zu den Ansichten der Krankenschwestern über die Arbeit für diesen neuen Dienst gestellt, und die Befragten nutzten die allgemeine offene Frage, um dieses Thema ausführlich zu erläutern . In anderen Studien, Antworten auf allgemeine offene Fragen wurden auf Antworten auf eine geschlossene Frage ausgearbeitet, Identifizierung der Aspekte des Dienstes, die dazu beitrugen, dass sich NHS Direct-Benutzer durch die angebotenen Ratschläge beruhigt fühlten , Erklären, warum Nachwuchsmediziner der Meinung waren, dass die Ausbildung sie nicht auf ihre Arbeit vorbereitet hatte , und zu beleuchten, warum die Menschen mit einem Notarzt zufriedener waren, der ein Prioritätsabfertigungssystem nutzte . Ein Beispiel für ein neues Thema, das nach der Gestaltung des Fragebogens auftauchte, war die Entstehung von Medienkritik als Anliegen von Ärzten in einer Reihe von jährlichen Umfragen .

Warum sind allgemeine offene Fragen ein Problem?

Wenn Forscher eine allgemein offene Frage gestellt haben, stehen sie möglicherweise vor dem Dilemma, ob sie die Antworten analysieren sollen oder nicht. Praktische Einschränkungen können zu einer Entscheidung beitragen, dies nicht zu tun, da die Dateneingabe und -analyse erhebliche Ressourcen erfordert und diese möglicherweise nicht während des Studiendesigns zugewiesen wurden. Das Ignorieren dieser Daten kann sich jedoch unethisch anfühlen, und es wurde empfohlen, dass Forscher keine offenen Fragen stellen sollten, es sei denn, sie sind bereit, die Antworten zu analysieren . Ein weiteres Hindernis kann der Mangel an Klarheit über den Status der Antworten sein. Sie neigen dazu, zwischen zwei Stühlen zu fallen, da sie weder streng qualitative noch quantitative Daten sind, und dies kann die Arbeit mit ihnen unangenehm machen. Dieser Mangel an Klarheit des Status kann dazu führen, dass sie nicht analysiert oder analysiert und im Hauptteil oder Anhang eines Berichts veröffentlicht werden, jedoch nicht in Peer-Review-Artikeln, die aus der Studie hervorgehen.

Sind Antworten auf allgemeine offene Fragen qualitative oder quantitative Daten?

Einige Forscher betrachten Antworten auf allgemeine offene Fragen als qualitative Daten , andere nicht , und andere beschreiben sie als ‚quasi-qualitative Daten‘ . Allgemeine offene Fragen weisen einige Merkmale qualitativer Ansätze auf: sie scheinen es den Befragten zu ermöglichen, in ihren eigenen Worten zu schreiben, was sie wollen, mit wenig Struktur, die vom Forscher auferlegt wird; Die Ausgabe besteht eher aus Wörtern als aus Zahlen oder Häkchen; Die Analyse kann Techniken verwenden, die mit qualitativer Forschung verbunden sind; und die Veröffentlichung kann die Anzeige von wörtlichen Zitaten beinhalten, so dass sie wie qualitative Daten aussieht. Daten aus allgemeinen offenen Fragen können jedoch einige der wichtigsten Stärken der qualitativen Forschung vermissen lassen. Man könnte argumentieren, dass die geschlossenen Fragen die legitime Agenda für die Antworten auf die allgemeine offene Frage angeben und somit die Antworten einschränken können. Noch wichtiger ist, dass es an Aufmerksamkeit für den Kontext und an konzeptionellem Reichtum mangelt, da die Daten zu jedem Fall oft aus wenigen Sätzen oder weniger bestehen. In der Regel werden den Empfängern nicht-direktive Fragen gestellt, wie z. B. ‚Gibt es noch etwas, was Sie sagen möchten‘ oder ‚Irgendwelche anderen Kommentare?‘, mit wenig Platz für Antworten.

Der Schlüssel zur Bestimmung des Status von Daten, die aus allgemeinen offenen Fragen abgeleitet werden, kann daher ihre Tiefe sein; sowohl der Betrag, den die Empfänger zum Schreiben aufgefordert werden (entweder durch die gegebenen Anweisungen oder den zugewiesenen Speicherplatz), als auch der Betrag, den sie tatsächlich schreiben. So können Forscher in der Lage sein, den Status einer allgemeinen offenen Frage in der Entwurfsphase einer Studie zu bestimmen, indem sie eine Strategie haben, um Tiefe zu erzeugen und die Daten qualitativ zu behandeln, oder indem sie eine Strategie haben, um kürzere Antworten als ‚Sicherheitsnetz‘ für ergänzende oder neue Fragen zu generieren. Eine solche Strategie kann Forschern helfen, eine Strategie für die Analyse und Veröffentlichung zu entwickeln.

Generierung qualitativer Daten durch Design

Forscher können den Status einer allgemeinen offenen Frage in der Entwurfsphase einer Studie bestimmen, indem sie eine Strategie haben, um Tiefe zu erzeugen und die Daten qualitativ zu behandeln. Zum Beispiel lud ein Forscher am Ende eines strukturierten Fragebogens über die Verwendung der chinesischen Medizin die Befragten ein, die ‚Geschichte‘ ihrer Verwendung der chinesischen Medizin zu erzählen, wobei er eineinhalb Seiten Leerraum hinterließ und ein Beispiel für die erforderlichen Details anbot. Die folgenden Anweisungen wurden gegeben: ‚Erzählen Sie uns nun Ihre eigene Geschichte, indem Sie das Leerzeichen auf der nächsten Seite verwenden. Wir haben eine wahre Patientengeschichte zur Verfügung gestellt, um Ihnen eine Vorstellung von den Details zu geben, die wir benötigen. Die wichtigen Themen werden in der Liste über dem Platz wiederholt, den wir Ihnen zum Schreiben zur Verfügung gestellt haben. Verwenden Sie auch die Rückseite der Seite, wenn Sie möchten. Bitte denken Sie daran, klar zu schreiben.‘ . Dieser Ansatz ergab 460 Konten von 575 Befragten (80%). Diese ‚handgeschriebenen Geschichten‘ wurden als qualitative Daten behandelt, und die Analyse konzentrierte sich auf die von den Befragten verwendete Sprache sowie auf aufkommende Themen, um den ganzheitlichen Charakter der Gesundheitsversorgung zu zeigen, wie sie von den Befragten erlebt wurde.

Im obigen Beispiel deutet die Antwort von 80% darauf hin, dass die erhaltenen Geschichten als repräsentativ für die befragte Bevölkerung angesehen werden könnten. In der qualitativen Forschung beruht die Gültigkeit der Studie jedoch nicht auf der Fähigkeit des Forschers, Repräsentativität in Bezug auf die Gesamtbevölkerung nachzuweisen. Vielmehr beruht es auf der Übertragbarkeit, wobei der Forscher eine detaillierte Beschreibung des Umfelds liefert, in dem die Forschung durchgeführt wurde . Daher ist es erforderlich, dass die Merkmale der Stichprobe klar dargestellt werden, so dass der Leser über die wahrscheinliche Übertragbarkeit der zum Ausdruck gebrachten Überzeugungen und Erfahrungen informiert wird. Mit Daten aus einer strukturierten Umfrage ist es immer möglich, die quantitativen Antworten zu verwenden, um die Art der Gruppe, die Kommentare abgibt, zu charakterisieren und ihre Beziehung zur breiteren Bevölkerung deutlich zu machen. Dies bedeutet, dass Kommentare von einer Teilmenge von Respondern immer noch wertvolle Daten sind, auch wenn sie nicht die gesamte Stichprobe darstellen. Eine wichtige Folge davon ist, dass offene Fragen ausdrücklich so gestaltet werden können, dass sie Kommentare von einer Teilmenge der befragten Bevölkerung hervorrufen, unter Verwendung der Prinzipien der gezielten Stichprobe . Ein Beispiel hierfür wäre, alle Befragten, die in einer geschlossenen Frage über eine bestimmte Art von Erfahrung berichten, zu ermutigen, ihre Geschichte zu erzählen. Ein alternativer Ansatz wäre es, Post-hoc-Stichproben aus dem gesamten Spektrum der eingegangenen Antworten zu ziehen, z. B. Stichproben von informationsreichen Fällen oder Extremfällen.

Wenn die offene Frage zur Generierung qualitativer Daten verwendet wird, müssen die Forscher qualitative Analysetechniken und möglicherweise qualitative Software verwenden, wie sie im zuvor diskutierten Beispiel der chinesischen Medizin verwendet werden , und Fragen berücksichtigen, die für eine qualitativ hochwertige qualitative Forschung wichtig sind, z. B. eine klare Darstellung der Datenerfassung und -analyse, die Suche nach unbestätigten Beweisen und Reflexivität . Qualitative Forscher erwarten, dass die Analyse herausfordernd und zeitaufwändig ist, und stellen sicher, dass sie über die erforderlichen Ressourcen verfügen, wenn die Absicht, solche Daten zu sammeln, im Forschungsvorschlag ausdrücklich angegeben ist. Bei der Berichterstattung über Forschungsergebnisse aus Studien mit persönlichen Interviews empfiehlt es sich, die Länge der Interviews anzugeben. Wenn Sie die Daten aus diesen offenen Fragen melden, kann es hilfreich sein, dem Leser die potenzielle Tiefe der Daten anzuzeigen, indem Sie die durchschnittliche Anzahl der Textzeilen angeben, die von den Befragten zur Verfügung stehen .

Generierung quantifizierbarer Daten durch Design

Allgemeine offene Fragen können wenig mehr als die geschlossenen Fragen im Fragebogen ergeben, und anstatt es für unethisch zu halten, diese Antworten zu analysieren, könnte eine geeignetere Strategie eine vorläufige Analyse sein, bei der die Antworten gelesen werden, damit der Forscher den Beitrag, den sie zur Studie insgesamt leisten, berücksichtigen kann. Wenn die Kommentare die Antworten auf geschlossene Fragen lediglich bestätigen oder geringfügig erläutern, lohnt sich eine formale Analyse möglicherweise nicht . Es kann eine gute Praxis sein, in Veröffentlichungen zu berichten, dass die Antworten auf die allgemeine offene Frage keine zusätzlichen Informationen zu den geschlossenen Fragen enthielten. Dort, wo sie Erkenntnisse oder Probleme bieten, die in den geschlossenen Fragen nicht verfügbar sind, könnte die formale Analyse als bewährte Praxis angesehen werden, auch wenn die Rolle dieser Analyse darin besteht, Hypothesen oder Fragen für weitere Studien zu identifizieren. Die formale Analyse kann entweder durch die Stärke der Zahlen, die bestimmte Kommentare abgeben, oder durch die Stärke des Gefühls innerhalb einer kleinen Anzahl der Kommentare ausgelöst werden. Zum Beispiel in einer Umfrage von NHS Direct Nurses, die große Anzahl von detaillierten Kommentaren und der emotionale Inhalt von einigen von ihnen, aufgefordert, eine formale Analyse , und in einer Umfrage von Junior-Ärzte, die Stärke des Gefühls ausgedrückt durch eine kleine Anzahl von Ärzten um ein Problem aufgefordert formale Analyse .

Aus quantitativer Sicht ist die Stärke eines Umfrageansatzes die Repräsentativität, und daher sollte die Verzerrung der Nichtantwort ein Problem darstellen. Die Befragten füllen mit geringerer Wahrscheinlichkeit eine allgemeine offene Frage aus als eine geschlossene Frage auf einem postalischen Fragebogen : 81% der 71% der Befragten zu einer Umfrage unter NHS Direct-Nutzern, das sind 58% der Stichprobe ; 67% der 74% der Befragten zu einer Umfrage unter NHS Direct Nurses, das sind 50% der Stichprobe ; und 40% der 74% der Befragten zu einer Umfrage unter niedergelassenen Ärzten, das sind insgesamt 30% .

Diejenigen, die sich für die Beantwortung der allgemeinen offenen Frage entscheiden, könnten sich von den Befragten insgesamt unterscheiden, entweder artikulierter sein oder ein größeres Interesse an dem Umfragethema haben. Es ist wichtig zu berücksichtigen und darüber zu berichten, wer schriftliche Kommentare abgegeben hat, damit Vorurteile berücksichtigt werden können. In einer Umfrage zur Patientenzufriedenheit gaben Frauen häufiger Kommentare ab als Männer, aber interessanterweise gab es keine signifikanten Unterschiede nach Altersgruppe oder Bildungsstand . In einer Umfrage unter NHS Direct Nurses variierte der Anteil der Krankenschwestern, die schriftliche Kommentare abgaben, nach ihrer Arbeitszufriedenheit, wobei Krankenschwestern, die der Meinung waren, dass sich ihre Arbeitszufriedenheit in den schriftlichen Kommentaren nicht wirklich verändert hatte, unterrepräsentiert waren und diejenigen, die der Meinung waren, dass sie sich in den schriftlichen Kommentaren stark verschlechtert hatte. Die Kommentare wurden in diesem Zusammenhang gemeldet.

Die formale Analyse muss streng sein, damit die Ergebnisse nützlich und überzeugend sind. Eine Inhaltsanalyse kann durchgeführt werden, wenn der Forscher die folgenden Schritte unternimmt:

1. Liest eine Teilmenge der Kommentare.

2. Entwickelt einen Codierungsrahmen, um den thematischen Inhalt der Kommentare zu beschreiben.

3. Weist die Codes allen Kommentaren zu. Der Codierrahmen kann mit einer dafür entwickelten Software oder manuell angewendet werden. Möglicherweise sind zwei Codierer erforderlich, um die Zuverlässigkeit der Zuweisung von Codes zu testen .

4. Die Codes können zusammen mit den Daten aus den geschlossenen Fragen in ein statistisches Paket eingegeben und in einer quantitativen Analyse als Variablen behandelt werden.

Der Codierungsprozess ist zeitaufwändig und erfordert Fachwissen . Die Fähigkeiten eines qualitativen Forschers sind nicht erforderlich, aber die Kodierung ähnelt den frühen Stadien der qualitativen Analyse, und Forscher möchten möglicherweise den Rat eines qualitativen Forschers einholen. Alle getroffenen Entscheidungen beeinflussen die Ergebnisse und somit ist der Codierungsprozess für einen erfahrenen Forscher geeignet.

Bei der Meldung der Antworten auf allgemeine offene Fragen ist es wichtig, dass die Anzahl der Befragten, die jeden Kommentar abgeben, angezeigt wird, wobei zu berücksichtigen ist, dass, obwohl eine bestimmte Anzahl von Personen ein Problem erwähnt hat, es für viele weitere relevant sein kann, die es nicht erwähnt haben. Obwohl bei der Meldung von Antworten auf offene Fragen eher Zahlen als Prozentsätze verwendet werden , sind Prozentsätze manchmal die am besten geeignete Methode, um die Ergebnisse darzustellen, z. B. in einem Vorher-Nachher-Design mit einer unterschiedlichen Anzahl von Kommentaren in jedem Zeitraum . Zur Veranschaulichung der Themen können wörtliche Kommentare angezeigt werden , da die Kommentare selbst den Forscher von der Bedeutung der Verbreitung der Informationen überzeugt haben . Dabei ist die Vertraulichkeit wichtig, wobei darauf zu achten ist, dass keine Kommentare gemeldet werden, die eine Person identifizieren könnten.

Veröffentlichung von Antworten auf offene Fragen

Die Veröffentlichung von Antworten auf offene Fragen kann innerhalb eines Papiers erfolgen, in dem die wichtigsten Ergebnisse des Fragebogens berichtet werden, oder als separate Veröffentlichung. Wenn Kommentare die Ergebnisse geschlossener Fragen erläutern und erläutern, ist es möglicherweise am besten, sie in derselben Arbeit zu veröffentlichen . Wenn eine neue Ausgabe erscheint , kann eine separate Veröffentlichung angebracht sein. Für die Veröffentlichung müssen sowohl die Daten als auch die Analyse robust genug sein, um Prüfungen und Peer-Reviews standzuhalten.

Vor- und Nachteile einer expliziten Strategie

Eine explizite Strategie erfordert, dass Forscher die Rolle einer allgemeinen offenen Frage im Kontext ihrer Umfrage und ihren Status in Bezug auf die Generierung entweder qualitativer oder quantifizierbarer Daten berücksichtigen. Wenn die Rolle der Frage darin besteht, den Teilnehmern eine Stimme zu geben, kann der Forscher sicherstellen, dass Kommentare gelesen werden, um alle von Einzelpersonen geäußerten Bedenken und Fragen zu identifizieren, und dass mit einzelnen Kommentaren geeignete Maßnahmen ergriffen werden. Wenn es darum geht, qualitative Daten zu generieren, kann der Generierung von Datentiefe und den mit qualitativer Forschung verbundenen Qualitätsproblemen Aufmerksamkeit geschenkt werden. Wenn die Rolle darin besteht, als Sicherheitsnetz zu fungieren und quantifizierbare Daten zu generieren, müssen Ressourcen für das Lesen der Kommentare und, wenn es einen Mehrwert zu geben scheint, für die formale Analyse der Daten unter Berücksichtigung der Verzerrung der Nichtantwort und der Zuverlässigkeit der Codierung bereitgestellt werden. Eine Strategie kann jedes Dilemma verringern, mit dem Forscher konfrontiert sind, ob und wie diese Fragen analysiert werden sollen, kann dem Forscher helfen, diesen Daten die entsprechende Zeit und das entsprechende Fachwissen zuzuweisen, und kann eine Analyse erstellen, die robust genug ist, um in Peer-Review-Zeitschriften veröffentlicht zu werden. Ein potenzieller Nachteil einer solchen Strategie kann darin bestehen, dass eine gewisse Flexibilität verloren geht und einige wichtige Punkte übersehen werden. Schließlich können Forscher nicht davon ausgehen, dass sie wissen, wie sie einem Befragten das Ausfüllen einer allgemeinen offenen Frage am besten erleichtern können, und müssen möglicherweise kognitive Aspekte der Umfragemethodik in Betracht ziehen, um die Frage zu konstruieren .