«¿Algún otro comentario?»Preguntas abiertas en cuestionarios – ¿una pesadilla o una ventaja para la investigación?

Diferentes tipos de preguntas abiertas en las encuestas

Hay cuatro tipos de preguntas que pueden requerir una respuesta abierta en lugar de cerrada (consulte la Figura 1). La pregunta abierta general, por lo general, » ¿algún otro comentario?», utilizado al final de un cuestionario estructurado es el tipo en el que nos centramos en este artículo. Creemos que el uso de este tipo de preguntas abiertas es común, y consideramos que es el tipo que tiene más probabilidades de plantear un dilema para los investigadores sobre si analizar las respuestas y cómo hacerlo.

Los beneficios potenciales de las preguntas abiertas generales

Las preguntas abiertas generales ofrecen una serie de beneficios al probar un cuestionario. Las respuestas a ellas pueden tranquilizar al investigador de que se han cubierto todas las cuestiones pertinentes . Las respuestas también se pueden usar para corroborar las respuestas a preguntas cerradas, para dar seguridades al investigador de que el cuestionario es válido o para resaltar problemas con preguntas particulares.

Los beneficios de utilizar preguntas abiertas generales en el estudio principal son menos claros. Se han recomendado para ayudar a que un informe estadístico aburrido sea más interesante , proporcionando al lector citas para ilustrar puntos importantes, y en cuestionarios autoadministrados porque hay alguna evidencia de que aumentan las tasas de respuesta . Aumentar la tasa de respuesta es un beneficio considerable en la metodología de la encuesta, pero no es necesariamente el problema que impulsa a los investigadores a usar preguntas abiertas generales.

Los investigadores pueden usar preguntas abiertas generales sin pensar mucho en por qué lo están haciendo, simplemente incluyendo la pregunta porque es una práctica habitual. O pueden estar impulsados por el deseo de ofrecer a los encuestados la oportunidad de expresar su opinión. Las preguntas cerradas representan la agenda de los investigadores, incluso si se han desarrollado a través de escuchar las opiniones de las personas en grupos focales y entrevistas en profundidad. El uso de «cualquier otro comentario» puede restablecer el equilibrio de poder entre los investigadores y los participantes en la investigación. Los encuestados pueden aprovechar esta oportunidad para pedir aclaraciones o información sobre un problema de salud o un servicio de salud, o expresar su preocupación sobre la investigación. Si los investigadores incluyen una pregunta abierta general por esta razón, entonces deberán considerar la mejor manera de responder a las personas sobre tales consultas e inquietudes.

Otro posible impulsor para incluir una pregunta abierta general es la preocupación de no tener en cuenta un tema importante, incluso si el cuestionario se ha desarrollado utilizando una cantidad considerable de investigación cualitativa y pruebas piloto. Puede haber cuestiones sobre las que los encuestados quieran dar más detalles de los que permiten las preguntas estructuradas. Puede haber problemas que los métodos cualitativos y la experimentación no logran descubrir porque afectan solo a un pequeño número de personas, o son específicos de subgrupos que no se han incluido en el trabajo de desarrollo, o han ocurrido desde el diseño del cuestionario. Por lo tanto, las preguntas abiertas generales pueden actuar como una «red de seguridad» y ayudar al investigador a identificar problemas que no están cubiertos por las preguntas cerradas, ya sea elaborando y explicando algunos de los hallazgos de las preguntas cerradas, o identificando nuevos problemas.

Por ejemplo, el propósito de una encuesta a enfermeros Directos del SNS fue describir las calificaciones, la experiencia y los motivos de incorporación al servicio de los enfermeros . Se hizo un pequeño número de preguntas cerradas sobre la opinión de las enfermeras de trabajar para este nuevo servicio, y los encuestados utilizaron la pregunta abierta general para ampliar con considerable detalle este tema . En otros estudios, las respuestas a preguntas abiertas generales han elaborado respuestas a una pregunta cerrada, identificando los aspectos del servicio que contribuyeron a que los usuarios directos del Servicio Nacional de Salud se sintieran tranquilizados por el asesoramiento ofrecido , explicando por qué los médicos jóvenes sintieron que la capacitación no los había preparado para su trabajo , e iluminando por qué las personas estaban más satisfechas con un receptor de llamadas de ambulancia de emergencia que utilizaba un sistema de despacho prioritario . Un ejemplo de un nuevo tema que surgió después del diseño del cuestionario fue la aparición de la crítica de los medios de comunicación como preocupación de los médicos en una serie de encuestas anuales .

¿Por qué las preguntas abiertas generales son un problema?

Después de haber formulado una pregunta abierta general, los investigadores pueden enfrentarse al dilema de analizar las respuestas o no. Las limitaciones prácticas pueden contribuir a la decisión de no hacerlo porque la entrada y el análisis de datos requieren recursos considerables y es posible que no se hayan asignado durante el diseño del estudio. Sin embargo, ignorar estos datos puede parecer poco ético y se ha recomendado que los investigadores no hagan preguntas abiertas a menos que estén preparados para analizar las respuestas . Otra barrera puede ser la falta de claridad en torno al estado de las respuestas. Tienden a caer entre dos heces, no siendo datos estrictamente cualitativos ni cuantitativos, y esto puede hacer que sea incómodo trabajar con ellas. Esta falta de claridad de la situación puede dar lugar a que no se analicen, o a que se analicen y publiquen en el cuerpo o el apéndice de un informe, pero no en ningún artículo revisado por pares que surja del estudio.

¿Las respuestas a las preguntas abiertas generales son datos cualitativos o cuantitativos?

Algunos investigadores consideran que las respuestas a las preguntas abiertas generales son datos cualitativos, algunos no y otros los describen como «datos cuasi cualitativos». Las preguntas abiertas generales tienen algunas de las características de los enfoques cualitativos: parecen permitir que los encuestados escriban lo que quieran en sus propias palabras, con poca estructura impuesta por el investigador; el resultado son palabras en lugar de números o garrapatas; el análisis puede usar técnicas asociadas con la investigación cualitativa; y la publicación puede involucrar la visualización de citas literales para que se vean como datos cualitativos. Sin embargo, los datos de las preguntas abiertas generales pueden carecer de algunas de las fortalezas clave de la investigación cualitativa. Se podría argumentar que las preguntas cerradas indican la agenda legítima para las respuestas a la pregunta abierta general y, por lo tanto, pueden imponer restricciones a las respuestas. Lo que es más importante, hay una falta de atención al contexto y una falta de riqueza conceptual, porque los datos sobre cada caso a menudo consisten en unas pocas frases o menos. Por lo general, a los destinatarios se les hacen preguntas no directivas, como «¿Hay algo más que le gustaría decir? » o » ¿Algún otro comentario?’, con una pequeña cantidad de espacio para respuestas.

La clave para determinar el estado de los datos derivados de preguntas abiertas generales puede ser, por lo tanto, su profundidad; tanto la cantidad que se solicita a los destinatarios que escriban (ya sea a través de las instrucciones dadas o la cantidad de espacio asignado), como la cantidad que realmente escriben. Por lo tanto, los investigadores pueden ser capaces de determinar el estado de una pregunta abierta general en la etapa de diseño de un estudio al tener una estrategia para generar profundidad y tratar los datos cualitativamente, o al tener una estrategia para generar respuestas más cortas como una «red de seguridad» para cuestiones complementarias o nuevas. Tener una estrategia de este tipo puede ayudar a los investigadores a diseñar una estrategia para el análisis y la publicación.

Generar datos cualitativos por diseño

Los investigadores pueden determinar el estado de una pregunta abierta general en la etapa de diseño de un estudio al tener una estrategia para generar profundidad y tratar los datos cualitativamente. Por ejemplo, al final de un cuestionario estructurado sobre el uso de la medicina china, un investigador invitó a los encuestados a contar la «historia» de su uso de la medicina china, dejando una página y media llena de espacio en blanco y ofreciendo un ejemplo del detalle requerido. Se dieron las siguientes instrucciones: «Ahora cuéntanos tu propia historia, usando el espacio de la página siguiente. Hemos proporcionado una historia de paciente real para darle una idea de los tipos de detalles que necesitamos. Los temas importantes se repiten en la lista de arriba del espacio que hemos proporcionado para que escribas. También use la parte posterior de la página si lo desea. Por favor, recuerde escribir con claridad.’ . Este enfoque produjo 460 cuentas de 575 encuestados (80%). Estas «historias manuscritas» fueron tratadas como datos cualitativos, y el análisis se centró en el lenguaje utilizado por los encuestados, así como en temas emergentes, para mostrar la naturaleza holística de la prestación de atención de salud tal como la experimentaron los encuestados.

En el ejemplo anterior, el 80% de respuesta sugiere que las historias obtenidas podrían considerarse representativas de la población encuestada. Sin embargo, en la investigación cualitativa, la validez del estudio no se basa en la capacidad del investigador para demostrar representatividad con respecto a la población total. Más bien, se basa en la transferibilidad mediante la cual el investigador ofrece una descripción detallada del entorno en el que se llevó a cabo la investigación . Por lo tanto, lo que se requiere es que las características de la muestra se presenten claramente, de modo que el lector esté informado sobre la probable transferibilidad de las creencias y experiencias expresadas. Con los datos obtenidos de una encuesta estructurada, siempre es posible utilizar las respuestas cuantitativas para caracterizar la naturaleza del grupo que proporciona comentarios y para hacer evidente su relación con la población en general. Esto significa que los comentarios de un subconjunto de respondedores siguen siendo datos valiosos, incluso cuando no representan la muestra completa. Un corolario importante de esto es que las preguntas abiertas pueden diseñarse expresamente para obtener comentarios de un subconjunto de la población encuestada, utilizando los principios del muestreo intencional . Un ejemplo de esto sería animar a todos los encuestados que reportan un tipo particular de experiencia en una pregunta cerrada a contar su historia. Un enfoque alternativo consistiría en tomar muestras a posteriori de toda la gama de respuestas recibidas, por ejemplo, muestreando casos ricos en información o casos extremos.

Si la pregunta abierta se utiliza para generar datos cualitativos, los investigadores necesitarán utilizar técnicas de análisis cualitativo y , posiblemente, software cualitativo, como se usa en el ejemplo de la medicina china discutido anteriormente, y deberán considerar cuestiones importantes para la investigación cualitativa de buena calidad, como la exposición clara de la recolección y el análisis de datos, la búsqueda de pruebas que no confirman y la reflexividad . Los investigadores cualitativos esperan que el análisis sea difícil y consuma mucho tiempo y se asegurarán de contar con los recursos necesarios para llevarlo a cabo si la intención de recopilar dichos datos está explícita en la propuesta de investigación. Al informar de los resultados de la investigación de los estudios utilizando entrevistas personales, es una buena práctica indicar la duración de las entrevistas. Del mismo modo, al informar los datos de estas preguntas abiertas, podría ser útil indicar la profundidad potencial de los datos al lector detallando el número promedio de líneas de texto disponibles de los encuestados .

Generar datos cuantificables por diseño

Las preguntas abiertas generales pueden producir poco más que las preguntas cerradas en el cuestionario y, en lugar de considerar que no es ético analizar estas respuestas, una estrategia más adecuada podría ser un análisis preliminar que involucre la lectura de las respuestas para que el investigador pueda considerar la contribución que hacen al estudio en general. Si los comentarios simplemente corroboran o desarrollan ligeramente las respuestas a preguntas cerradas, entonces el análisis formal puede no valer la pena . Puede ser una buena práctica informar en las publicaciones que las respuestas a la pregunta abierta general no proporcionaron información adicional a las preguntas cerradas. Es cuando ofrecen ideas o cuestiones que no están disponibles en las preguntas cerradas que el análisis formal podría considerarse una buena práctica, incluso si la función de este análisis es identificar hipótesis o preguntas para un estudio posterior. El análisis formal puede ser impulsado por la fuerza de los números que hacen comentarios particulares, o la fuerza de los sentimientos dentro de un pequeño número de comentarios. Por ejemplo, en una encuesta de enfermeras directas del Servicio Nacional de Salud, el gran número de comentarios detallados y el contenido emocional de algunos de ellos motivaron un análisis formal , y en una encuesta de médicos jóvenes, la fuerza de sentimiento expresada por un pequeño número de médicos en torno a un tema provocó un análisis formal .

Desde una perspectiva cuantitativa, la fuerza de un enfoque de encuesta es la representatividad y, por lo tanto, el sesgo de no respuesta debe ser una preocupación. Es menos probable que los encuestados completen una pregunta abierta general que una pregunta cerrada en un cuestionario postal : El 81% del 71% de los encuestados en una encuesta de usuarios Directos del NHS, es decir, el 58% de la muestra ; el 67% del 74% de los encuestados en una encuesta de enfermeros directos del NHS, es decir, el 50% de la muestra ; y el 40% del 74% de los encuestados en una encuesta de médicos en formación, es decir, el 30% en general .

Aquellos que optan por responder a la pregunta abierta general podrían ser diferentes de los encuestados en general, ya sea que sean más articulados o tengan un mayor interés en el tema de la encuesta. Es importante tener en cuenta quién ha formulado observaciones por escrito e informar al respecto para que se pueda tener en cuenta la parcialidad. En una encuesta de satisfacción del paciente, las mujeres tuvieron más probabilidades de hacer comentarios que los hombres, pero curiosamente no hubo diferencias significativas por grupo de edad o estado educativo . En una encuesta de enfermeras directas del NHS, la proporción de enfermeras que hicieron comentarios escritos varió según sus niveles de satisfacción en el trabajo, con enfermeras que sentían que su satisfacción en el trabajo «no había cambiado realmente» subrepresentadas en los comentarios escritos y aquellas que sentían que «había empeorado mucho» sobrerrepresentadas en los comentarios escritos . Las observaciones se comunicaron en este contexto.

El análisis formal debe ser riguroso para que los hallazgos sean útiles y convincentes. Se puede realizar un análisis de contenido, donde el investigador realiza los siguientes pasos:

1. Lee un subconjunto de los comentarios.

2. Crea un marco de codificación para describir el contenido temático de los comentarios.

3. Asigna los códigos a todos los comentarios. El marco de codificación se puede aplicar utilizando un software diseñado para este fin o manualmente. Pueden ser necesarios dos codificadores para probar la fiabilidad de la asignación de códigos .

4. Los códigos se pueden introducir en un paquete estadístico junto con los datos de las preguntas cerradas y se pueden tratar como variables en un análisis cuantitativo.

El proceso de codificación consume mucho tiempo y requiere experiencia . Las habilidades de un investigador cualitativo no son necesarias, pero la codificación es similar a las primeras etapas del análisis cualitativo y los investigadores pueden desear buscar el consejo de un investigador cualitativo. Cualquier decisión que se tome afectará a los resultados y, por lo tanto, el proceso de codificación es adecuado para un investigador experto.

Al informar de las respuestas a las preguntas abiertas generales, es importante que se muestre el número de encuestados que hacen cada comentario, reconociendo que, aunque un número específico de personas mencionó un problema, podría ser relevante para muchos más que no optaron por mencionarlo. Aunque se suelen utilizar números en lugar de porcentajes al informar de las respuestas a las preguntas abiertas , los porcentajes a veces serán la forma más adecuada de presentar los resultados, por ejemplo, en un diseño de antes y después con diferentes números de comentarios en cada período de tiempo . Los comentarios literales se pueden mostrar para ilustrar los temas, porque son los propios comentarios los que han convencido al investigador de la importancia de la difusión de la información . Al hacer esto, la atención a la confidencialidad es importante, teniendo cuidado de no reportar comentarios que puedan identificar a un individuo.

Publicación de respuestas a preguntas abiertas

La publicación de respuestas a preguntas abiertas puede ocurrir dentro de un documento que informa de los principales hallazgos del cuestionario o como una publicación separada. Cuando los comentarios elaboren y expliquen los resultados de las preguntas cerradas, puede ser más apropiado publicarlos en el mismo documento . Cuando surja un nuevo número, puede ser conveniente una publicación separada. Para la publicación, tanto los datos como el análisis deben ser lo suficientemente sólidos para resistir el escrutinio y la revisión por pares.

Ventajas y desventajas de tener una estrategia explícita

Una estrategia explícita requiere que los investigadores consideren el papel de una pregunta abierta general en el contexto de su encuesta, y su estado en términos de generación de datos cualitativos o cuantificables. Si la función de la pregunta es dar voz a los participantes, el investigador puede asegurarse de que los comentarios se lean para identificar cualquier inquietud y consulta expresada por los individuos, y que se tomen las medidas apropiadas con comentarios individuales. Si el papel es generar datos cualitativos, entonces se puede prestar atención a generar profundidad de los datos y los problemas de calidad asociados con la investigación cualitativa. Si la función es actuar como red de seguridad y generar datos cuantificables, será necesario asignar recursos para la lectura de los comentarios y, si parece haber valor añadido, para el análisis formal de los datos, prestando atención al sesgo de no respuesta y a la fiabilidad de la codificación. Tener una estrategia puede reducir cualquier dilema al que se enfrentan los investigadores sobre si analizar estas preguntas y cómo, puede ayudar al investigador a asignar el tiempo y la experiencia adecuados a estos datos, y puede producir un análisis lo suficientemente sólido como para publicarlo en revistas revisadas por pares. Una desventaja potencial de tener una estrategia de este tipo puede ser que se pierda cierta flexibilidad y que se pasen por alto algunas cuestiones importantes. Finalmente, los investigadores no pueden asumir que saben la mejor manera de facilitar que un encuestado complete una pregunta abierta general y pueden necesitar considerar el uso de los aspectos cognitivos de la metodología de la encuesta para construir la pregunta .