» D’autres commentaires? »Des questions ouvertes sur des questionnaires – un fléau ou un bonus à la recherche?

Différents types de questions ouvertes dans les enquêtes

Il existe quatre types de questions qui peuvent nécessiter une réponse ouverte plutôt que fermée (voir la figure 1). La question générale ouverte, généralement « d’autres commentaires?’, utilisé à la fin d’un questionnaire structuré est le type sur lequel nous nous concentrons dans cet article. Nous pensons que l’utilisation de ce type de question ouverte est courante, et nous considérons que c’est le type qui est le plus susceptible de poser un dilemme aux chercheurs quant à savoir si et comment analyser les réponses.

Les avantages potentiels des questions ouvertes générales

Les questions ouvertes générales offrent un certain nombre d’avantages lors du pilotage d’un questionnaire. Les réponses peuvent rassurer le chercheur que toutes les questions pertinentes ont été abordées. Les réponses peuvent également être utilisées pour corroborer les réponses à des questions fermées, rassurer le chercheur que le questionnaire est valide ou mettre en évidence des problèmes avec des questions particulières.

Les avantages de l’utilisation de questions ouvertes générales dans l’étude principale sont moins clairs. Ils ont été recommandés pour aider à rendre un rapport statistique terne plus intéressant, en fournissant au lecteur des citations pour illustrer des points importants et dans des questionnaires auto-administrés, car il existe des preuves qu’ils augmentent les taux de réponse. L’augmentation du taux de réponse est un avantage considérable dans la méthodologie d’enquête, mais ce n’est pas nécessairement la question qui pousse les chercheurs à utiliser des questions ouvertes générales.

Les chercheurs peuvent utiliser des questions ouvertes générales sans trop réfléchir à la raison pour laquelle ils le font, en incluant simplement la question parce que c’est une pratique habituelle. Ou ils peuvent être motivés par le désir d’offrir aux répondants l’occasion d’exprimer leur opinion. Les questions fermées représentent le programme des chercheurs, même si elles ont été élaborées en écoutant les points de vue des gens dans des groupes de discussion et des entrevues approfondies. L’utilisation de  » tout autre commentaire  » peut rétablir l’équilibre des pouvoirs entre les chercheurs et les participants à la recherche. Les répondants peuvent saisir cette occasion pour demander des éclaircissements ou des renseignements sur un problème de santé ou un service de santé, ou exprimer leurs préoccupations au sujet de la recherche. Si les chercheurs incluent une question générale ouverte pour cette raison, ils devront alors réfléchir à la meilleure façon de répondre aux personnes à ces questions et préoccupations.

Un autre facteur possible pour inclure une question générale ouverte est la préoccupation de manquer une question importante, même si le questionnaire a été développé à l’aide d’une quantité considérable de recherches qualitatives et de tests pilotes. Il peut y avoir des questions sur lesquelles les répondants souhaitent donner plus de détails que ne le permettent les questions structurées. Il peut y avoir des problèmes que les méthodes qualitatives et le pilotage ne parviennent pas à mettre au jour parce qu’ils ne touchent qu’un petit nombre de personnes, ou qu’ils sont spécifiques à des sous-groupes qui n’ont pas été inclus dans les travaux de développement, ou qu’ils se sont produits depuis la conception du questionnaire. Ainsi, les questions ouvertes générales peuvent servir de « filet de sécurité » et aider le chercheur à identifier les problèmes non couverts par les questions fermées, soit en élaborant et en expliquant certaines des conclusions des questions fermées, soit en identifiant de nouveaux problèmes.

Par exemple, le but d’une enquête auprès des infirmières directes du NHS était de décrire les qualifications, l’expérience et les raisons de l’adhésion des infirmières au service. Un petit nombre de questions fermées ont posé des questions sur le point de vue des infirmières sur le fait de travailler pour ce nouveau service, et les répondants ont utilisé la question ouverte générale pour développer de manière très détaillée cette question. Dans d’autres études, les réponses aux questions ouvertes générales ont développé les réponses à une question fermée, en identifiant les aspects du service qui ont contribué à ce que les utilisateurs directs du NHS se sentent rassurés par les conseils offerts, en expliquant pourquoi les médecins débutants estimaient que la formation ne les avait pas préparés à leur travail, et en expliquant pourquoi les gens étaient plus satisfaits d’un preneur d’appels d’ambulance d’urgence utilisant un système de répartition prioritaire. Un exemple d’une nouvelle question émergeant après la conception du questionnaire a été l’émergence de la critique des médias en tant que préoccupation des médecins dans l’une d’une série d’enquêtes annuelles.

Pourquoi les questions ouvertes générales posent-elles problème?

Après avoir posé une question générale ouverte, les chercheurs peuvent être confrontés au dilemme d’analyser ou non les réponses. Des contraintes pratiques peuvent contribuer à la décision de ne pas le faire, car la saisie et l’analyse des données nécessitent des ressources considérables et celles-ci peuvent ne pas avoir été allouées lors de la conception de l’étude. Cependant, ignorer ces données peut sembler contraire à l’éthique et il a été recommandé aux chercheurs de ne pas poser de questions ouvertes à moins qu’ils ne soient prêts à analyser les réponses. Un autre obstacle peut être le manque de clarté concernant l’état des réponses. Ils ont tendance à tomber entre deux selles, n’étant ni des données strictement qualitatives ni quantitatives, ce qui peut les rendre inconfortables à travailler. Ce manque de clarté du statut peut avoir pour conséquence de ne pas les analyser ou de les analyser et de les publier dans le corps ou l’annexe d’un rapport, mais pas dans les articles évalués par des pairs issus de l’étude.

Les réponses aux questions ouvertes générales sont-elles des données qualitatives ou quantitatives?

Certains chercheurs considèrent les réponses aux questions ouvertes générales comme des données qualitatives, d’autres non, et d’autres les décrivent comme des  » données quasi qualitatives « . Les questions ouvertes générales présentent certaines des caractéristiques des approches qualitatives: ils semblent permettre aux répondants d’écrire ce qu’ils veulent dans leurs propres mots, avec peu de structure imposée par le chercheur; le résultat est des mots plutôt que des chiffres ou des tiques; l’analyse peut utiliser des techniques associées à la recherche qualitative; et la publication peut impliquer l’affichage de citations textuelles afin qu’il ressemble à des données qualitatives. Cependant, les données des questions ouvertes générales peuvent manquer de certaines des principales forces de la recherche qualitative. On pourrait faire valoir que les questions fermées indiquent l’ordre du jour légitime des réponses à la question générale ouverte et peuvent donc imposer des contraintes aux réponses. Plus important encore, il y a un manque d’attention au contexte et un manque de richesse conceptuelle, car les données sur chaque cas consistent souvent en quelques phrases ou moins. En règle générale, on pose aux destinataires des questions non directives telles que  » Y a-t-il autre chose que vous aimeriez dire » ou « D’autres commentaires? », avec un peu d’espace pour les réponses.

La clé pour déterminer le statut des données dérivées de questions ouvertes générales peut donc être leur profondeur; à la fois la quantité que les destinataires sont invités à écrire (soit par les instructions données, soit par la quantité d’espace allouée), et la quantité qu’ils écrivent réellement. Ainsi, les chercheurs peuvent être en mesure de déterminer le statut d’une question ouverte générale au stade de la conception d’une étude en ayant une stratégie pour générer de la profondeur et traiter les données de manière qualitative, ou en ayant une stratégie pour générer des réponses plus courtes en tant que « filet de sécurité » pour des questions complémentaires ou nouvelles. Une telle stratégie peut aider les chercheurs à élaborer une stratégie d’analyse et de publication.

Génération de données qualitatives dès la conception

Les chercheurs peuvent déterminer le statut d’une question générale ouverte au stade de la conception d’une étude en ayant une stratégie pour générer de la profondeur et traiter les données qualitativement. Par exemple, à la fin d’un questionnaire structuré sur l’utilisation de la médecine chinoise, un chercheur a invité les répondants à raconter « l’histoire » de leur utilisation de la médecine chinoise, en laissant une page et demie complète d’espace blanc et en offrant un exemple des détails requis. Les instructions suivantes ont été données: « Racontez-nous maintenant votre propre histoire, en utilisant l’espace de la page suivante. Nous avons fourni une véritable histoire de patient pour vous donner une idée du genre de détails dont nous avons besoin. Les sujets importants sont répétés dans la liste au-dessus de l’espace que nous vous avons prévu pour écrire. Utilisez également le verso de la page si vous le souhaitez. N’oubliez pas d’écrire clairement.’ . Cette approche a produit 460 comptes de 575 répondants (80 %). Ces « histoires manuscrites » ont été traitées comme des données qualitatives, et l’analyse a porté sur le langage utilisé par les répondants, ainsi que sur des thèmes émergents, afin de montrer la nature holistique de la prestation des soins de santé telle qu’elle a été vécue par les répondants.

Dans l’exemple ci-dessus, la réponse de 80 % suggère que les histoires obtenues pourraient être considérées comme représentatives de la population interrogée. Cependant, en recherche qualitative, la validité de l’étude ne repose pas sur la capacité du chercheur à démontrer sa représentativité par rapport à la population totale. Il repose plutôt sur la transférabilité par laquelle le chercheur offre une description détaillée du cadre dans lequel la recherche a été entreprise. Ainsi, ce qui est requis, c’est que les caractéristiques de l’échantillon soient clairement présentées, de sorte que le lecteur soit informé de la transférabilité probable des croyances et des expériences exprimées. Avec les données obtenues à partir d’une enquête structurée, il est toujours possible d’utiliser les réponses quantitatives pour caractériser la nature du groupe fournissant des commentaires et pour faire ressortir leur relation avec l’ensemble de la population. Cela signifie que les commentaires d’un sous-ensemble de répondants sont toujours des données précieuses même s’ils ne représentent pas l’ensemble de l’échantillon. Un corollaire important de cela est que les questions ouvertes peuvent être conçues expressément pour susciter des commentaires d’un sous-ensemble de la population interrogée, en utilisant les principes de l’échantillonnage ciblé. Un exemple de ceci serait d’encourager tous les répondants qui signalent un type particulier d’expérience dans une question fermée à raconter leur histoire. Une autre approche consisterait à échantillonner post hoc à partir de la gamme complète des réponses reçues, par exemple en échantillonnant des cas riches en informations ou des cas extrêmes.

Si la question ouverte est utilisée pour générer des données qualitatives, les chercheurs devront alors utiliser des techniques d’analyse qualitative et éventuellement des logiciels qualitatifs tels qu’utilisés dans l’exemple de médecine chinoise discuté précédemment, et devront examiner des questions importantes pour une recherche qualitative de bonne qualité, telles qu’une exposition claire de la collecte et de l’analyse des données, la recherche de preuves non confirmantes et la réflexivité. Les chercheurs qualitatifs s’attendent à ce que l’analyse soit difficile et prend beaucoup de temps et s’assureront qu’ils disposent des ressources nécessaires pour l’entreprendre si l’intention de recueillir de telles données est explicite dans la proposition de recherche. Lors de la communication des résultats de recherche d’études à l’aide d’entretiens en face à face, il est recommandé d’indiquer la durée des entretiens. De même, lors de la communication des données de ces questions ouvertes, il pourrait être utile d’indiquer au lecteur la profondeur potentielle des données en détaillant le nombre moyen de lignes de texte disponibles auprès des répondants.

Générer des données quantifiables dès la conception

Les questions ouvertes générales peuvent produire un peu plus que les questions fermées du questionnaire et plutôt que de considérer qu’il est contraire à l’éthique d’analyser ces réponses, une stratégie plus appropriée pourrait être une analyse préliminaire impliquant la lecture des réponses afin que le chercheur puisse considérer la contribution qu’elles apportent à l’étude dans son ensemble. Si les commentaires ne font que corroborer ou étoffer légèrement les réponses aux questions fermées, une analyse formelle peut ne pas être utile. Il peut être de bonne pratique de signaler dans les publications que les réponses à la question générale ouverte ne fournissaient pas d’informations supplémentaires aux questions fermées. C’est là où ils offrent des idées ou des questions non disponibles dans les questions fermées que l’analyse formelle pourrait être considérée comme une bonne pratique, même si le rôle de cette analyse est d’identifier des hypothèses ou des questions pour une étude plus approfondie. L’analyse formelle peut être motivée soit par la force du nombre de commentaires particuliers, soit par la force du sentiment dans un petit nombre de commentaires. Par exemple, dans une enquête auprès des infirmières directes du NHS, le grand nombre de commentaires détaillés et le contenu émotionnel de certains d’entre eux ont incité une analyse formelle, et dans une enquête auprès des médecins débutants, la force du sentiment exprimée par un petit nombre de médecins autour d’une question a incité une analyse formelle.

D’un point de vue quantitatif, la force d’une approche d’enquête est la représentativité, et donc le biais de non-réponse devrait être une préoccupation. Les répondants sont moins susceptibles de répondre à une question ouverte générale qu’à une question fermée sur un questionnaire postal : 81% des 71% des répondants à une enquête auprès des utilisateurs directs du NHS, soit 58% de l’échantillon; 67% des 74% des répondants à une enquête auprès des infirmières directes du NHS, soit 50% de l’échantillon; et 40% des 74% des répondants à une enquête auprès des médecins débutants, soit 30% dans l’ensemble.

Ceux qui choisissent de répondre à la question générale ouverte pourraient être différents de l’ensemble des répondants, soit être plus articulés, soit s’intéresser davantage au sujet de l’enquête. Il est important d’examiner et de faire rapport sur qui a fait des commentaires écrits afin que les préjugés puissent être pris en compte. Dans un sondage sur la satisfaction des patients, les femmes étaient plus susceptibles de faire des commentaires que les hommes, mais il est intéressant de noter qu’il n’y avait pas de différences significatives selon le groupe d’âge ou le niveau de scolarité. Dans une enquête menée auprès d’infirmières directes de l’ENM, la proportion d’infirmières faisant des commentaires écrits variait selon leur niveau de satisfaction au travail, les infirmières qui estimaient que leur satisfaction au travail n’avait « pas vraiment changé » étaient sous-représentées dans les commentaires écrits et celles qui estimaient qu’elle s’était « beaucoup aggravée » étaient surreprésentées dans les commentaires écrits. Les commentaires ont été rapportés dans ce contexte.

L’analyse formelle doit être rigoureuse pour que les résultats soient utiles et convaincants. Une analyse de contenu peut être entreprise, lorsque le chercheur prend les mesures suivantes:

1. Lit un sous-ensemble de commentaires.

2. Élabore un cadre de codage pour décrire le contenu thématique des commentaires.

3. Attribue les codes à tous les commentaires. Le cadre de codage peut être appliqué à l’aide d’un logiciel conçu à cet effet ou manuellement. Deux codeurs peuvent être nécessaires pour tester la fiabilité de l’attribution des codes.

4. Les codes peuvent être entrés dans un ensemble statistique à côté des données des questions fermées et traités comme des variables dans une analyse quantitative.

Le processus de codage prend du temps et nécessite une expertise. Les compétences d’un chercheur qualitatif ne sont pas nécessaires, mais le codage est similaire aux premières étapes de l’analyse qualitative et les chercheurs peuvent souhaiter demander l’avis d’un chercheur qualitatif. Toutes les décisions prises affecteront les résultats et le processus de codage convient donc à un chercheur qualifié.

Lors du signalement des réponses aux questions ouvertes générales, il est important que le nombre de répondants faisant chaque commentaire soit affiché, étant entendu que, bien qu’un nombre spécifique de personnes aient mentionné un problème, il pourrait être pertinent pour beaucoup d’autres qui n’ont pas choisi de le mentionner. Bien que des chiffres plutôt que des pourcentages aient tendance à être utilisés pour rendre compte des réponses aux questions ouvertes, les pourcentages seront parfois la façon la plus appropriée de présenter les résultats, par exemple, dans un avant et après conception avec un nombre différent de commentaires à chaque période. Des commentaires textuels peuvent être affichés pour illustrer les thèmes, car ce sont les commentaires eux-mêmes qui ont convaincu le chercheur de l’importance de la diffusion de l’information. Lorsque vous faites cela, il est important de veiller à la confidentialité, en prenant soin de ne pas signaler de commentaires susceptibles d’identifier une personne.

Publication des réponses aux questions ouvertes

La publication des réponses aux questions ouvertes peut avoir lieu dans un document rendant compte des principales conclusions du questionnaire ou dans une publication distincte. Lorsque les commentaires élaborent et expliquent les conclusions des questions fermées, il peut être plus approprié de les publier dans le même document. Lorsqu’un nouveau numéro émerge, une publication distincte peut être appropriée. Pour la publication, les données et l’analyse doivent être suffisamment solides pour résister à l’examen et à l’examen par les pairs.

Avantages et inconvénients d’une stratégie explicite

Une stratégie explicite exige que les chercheurs considèrent le rôle d’une question ouverte générale dans le contexte de leur enquête, et son statut en termes de génération de données qualitatives ou quantifiables. Si le rôle de la question est de donner une voix aux participants, le chercheur peut s’assurer que les commentaires seront lus pour identifier les préoccupations et les questions exprimées par les individus, et que les mesures appropriées sont prises avec les commentaires individuels. Si le rôle est de générer des données qualitatives, on peut s’intéresser à la production de données approfondies et aux problèmes de qualité associés à la recherche qualitative. Si le rôle est d’agir comme un filet de sécurité et de générer des données quantifiables, des ressources devront être allouées à la lecture des commentaires et, s’il semble y avoir une valeur ajoutée, à l’analyse formelle des données en tenant compte du biais de non-réponse et de la fiabilité du codage. Avoir une stratégie peut réduire tout dilemme auquel sont confrontés les chercheurs quant à savoir si et comment analyser ces questions, peut aider le chercheur à allouer le temps et l’expertise appropriés à ces données, et peut produire une analyse suffisamment solide pour être publiée dans des revues à comité de lecture. Un inconvénient potentiel d’une telle stratégie peut être qu’une certaine flexibilité est perdue et que certains problèmes importants sont manqués. Enfin, les chercheurs ne peuvent pas supposer qu’ils savent comment aider au mieux un répondant à répondre à une question générale ouverte et qu’ils devront peut-être envisager d’utiliser les aspects cognitifs de la méthodologie de l’enquête pour construire la question.