Validación de un cuestionario en español sobre la usabilidad de la telemedicina

Según la OMS, la telemedicina consiste en “la prestación de servicios de salud por profesionales de la salud, mediante la utilización de tecnologías de la información y la comunicación, para el diagnóstico, tratamiento y prevención de enfermedades, investigación, evaluación y formación continua; con el interés de cuidar la salud de los individuos y de las comunidades donde la distancia es un factor crítico” ^1-4.
Diversas publicaciones han demostrado que su implementación facilita el acceso al sistema de salud, mejora la efectividad de los cuidados, reduce costos y permite superar situaciones, como la actual pandemia de COVID-19, en las cuales puede ser difícil o riesgoso llevar a cabo consultas presenciales ^5-7. La implementación de la telemedicina es amplia y actualmente se encuentra en auge.
La usabilidad de la telemedicina, es la medida en la cual esta puede ser utilizada para conseguir objetivos específicos con efectividad, eficiencia y satisfacción de los usuarios, y depende del sistema a través del cual se lleva a cabo ^{8, 9}. Debido a esto, resulta fundamental contar con recursos que permitan evaluar la usabilidad de los sistemas de telemedicina.
Bajo el título telehealth usability questionnaire (TUQ), Parmanto y col., desarrollaron y validaron un cuestionario en inglés compuesto por 21 ítems ¹⁰. En 2019 llevamos a cabo su traducción y adaptación transcultural (Tabla 1) ¹¹.
Con el objetivo de obtener una herramienta confiable que requiera un menor tiempo y esfuerzo de llenado, y que permita medir la usabilidad de los sistemas de telemedicina de habla hispana, realizamos la validación de una versión abreviada de dicho cuestionario.

Materiales y métodos

Fueron invitados a participar los pacientes mayores de 18 años, usuarios del sistema de telemedicina del Hospital Italiano de Buenos Aires, Argentina. Los criterios de inclusión fueron: ser hispanohablantes, haber utilizado al menos en una ocasión el sistema de telemedicina y tener la capacidad de dar consentimiento informado. Fueron excluidos aquellos individuos que llenaron el cuestionario en forma incompleta.

El estudio fue llevado a cabo durante 10 meses, en el periodo comprendido entre el 1 de enero y el 31 de octubre de 2019.
La validación de constructo es un proceso por el cual se analiza la estructura de un cuestionario, considera los factores que agrupan a sus ítems, y evalúa que esta organización sea congruente con los dominios conceptuales. Es decir que, por ejemplo, si los ítems 1, 2, 3 y 4 conforman un dominio conceptual, esto se vea reflejado en la correlación matemática existente entre los mismos; consiguiendo de esta manera un solapamiento conceptual (dominios) y matemático (factores).
Este proceso lo llevamos a cabo a través de un análisis factorial exploratorio, un análisis conceptual entre expertos y un análisis factorial confirmatorio.
En un primer paso se realizó un análisis factorial exploratorio en una muestra de cuestionarios con el programa SPSS (Statistical Package for the Social Sciences, versión 21). El objetivo del mismo fue evaluar cómo se distribuían los ítems o preguntas en nuestra población, es decir cómo se agrupaban en factores; y cuál era su carga factorial, cuál era la variabilidad explicada por cada factor, para cada uno de sus ítems. Se utilizó la metodología de dividir los ítems o preguntas en factores con un mínimo de valor propio o eigenvalue de 1, en dos o tres factores. Estas opciones son ofrecidas por el sistema.
El segundo paso consistió en poner a consideración de un grupo de expertos, conformado por tres médicas usuarias de la telemedicina, un experto en metodología de la investigación y una paciente usuaria del sistema, si desde lo conceptual era apropiado o no la eliminación de aquellas preguntas redundantes o que tuvieran cargas factoriales bajas.
Para finalizar, en un tercer paso y con una nueva muestra, se llevó a cabo un análisis de confirmación o análisis factorial confirmatorio, de los ítems seleccionados en los pasos anteriores.
Se consideró para el análisis una estructura de un factor, en el cual todos los ítems conservados conforman una sola dimensión, y dos factores.
Fueron evaluadas la varianza media extractada (VME) (variabilidad promedio de los ítems, que es recomendable sea mayor que 0.5), la fiabilidad compuesta (confiabilidad, es recomendable que sea mayor que 0.7), la validez convergente (correlación entre los ítems que conforman cada factor, está representada por las cargas factoriales y es recomendable que estas sean mayores que 0.6 o 0.7) y la validez discriminante, (capacidad de diferenciar entre los distintos factores), la cual queda documentada cuando las VME de cada factor son mayores que la correlación al cuadrado entre esos factores ^13-15.
La muestra fue de conveniencia. A través de un formulario de Google fueron invitados por email a participar en forma anónima un total de 2049 participantes. Dado que se quiso preservar el total anonimato de los mismos, y que los datos demográficos (género y edad) no son normalmente relevantes para un estudio de validación, ya que en el análisis factorial se evalúa solo la relación entre las variables (o ítems), no se solicitó información demográfica a los participantes.
El cálculo del tamaño muestral para el primer análisis o análisis factorial exploratorio se realizó de acuerdo a lo recomendado por Streiner y col., quienes establecieron que se requiere un mínimo de 5 casos por variable cuando los casos son más de 100 ¹². Dado que el cuestionario inicial constaba de 21 ítems o variables, el mínimo tamaño muestral necesario era de 105. Utilizamos 150 casos.
Para el segundo análisis, el análisis factorial confirmatorio, cuando las variables se distribuyen de forma normal, en modelos con siete o menos variables latentes o factores, cargas factoriales modestas (0.5) y tres o más indicadores por variable latente, es necesario contar con un número mínimo de 150 casos ¹³. Sin embargo, ante variables ordinales y de distribución no normal, como las estudiadas en este trabajo, se recomienda aumentar esta cantidad de casos ¹³. Por ese motivo consideramos suficiente contar con un mínimo de 250 cuestionarios para el análisis factorial confirmatorio. Utilizamos 269 casos.
El análisis estadístico se realizó con el software LISREL 10.20 (versión estudiante).
El protocolo de esta investigación fue evaluado y aprobado por el Comité de Ética de Protocolos de Investigación del Hospital Italiano de Buenos Aires (número de aprobación: 3979).

Resultados

Se obtuvieron 419 cuestionarios completos. Se tomaron los primeros 150 cuestionarios y con ellos se llevó a cabo el análisis factorial exploratorio para evaluar cómo se distribuían las preguntas en nuestra población con el programa SPSS. Se procuró la salida de dos factores, los cuales, por recomendación del grupo de expertos, se denominaron efectividad y facilidad de uso
Los grupos de expertos eliminaron las preguntas redundantes o que tenían una baja carga factorial, y que no presentaban motivos conceptuales para ser conservadas.
Como resultado de este proceso fueron eliminados nueve ítems, resultando un cuestionario final de 12 preguntas (Tabla 2).
Luego de la selección de las preguntas por el grupo de expertos se confeccionó el cuestionario definitivo (Tabla 2) y se realizó el análisis factorial confirmatorio con los 269 cuestionarios restantes (Fig. 1). El análisis del factor 1 reveló una varianza media extractada (VME) de 0.7095 y una fiabilidad compuesta (FC) de 0.9060. En la evaluación del factor 2 se observó una VME de 0.6690 y una FC de 0.9409. En ambos casos, los dos valores (VME y FC) son adecuados de acuerdo a la bibliografía especializada ¹³.
La validez convergente fue aceptable en ambos factores, dado que las cargas factoriales estandarizadas fueron mayores a 0.6 y significativas estadísticamente (valores de T, mayores a 1.96) ¹². La carga factorial estandarizada más pequeña fue 0.64, mientras que las restantes fueron mayores a este valor.

Con respecto a la validez discriminante, la correlación entre ambos constructos o factores fue de 0.90 y su cuadrado, 0.81. Ambas VME fueron menores que 0.81. Según la bibliografía, esto indicó una baja validez discriminante ya que ambas resultaron menores que el cuadrado de la correlación entre los factores ¹⁴. Debido a esto, se evaluaron los resultados del análisis factorial confirmatorio teniendo en cuenta un solo factor (Tabla 3, primera línea), y dos factores (Tabla 3, segunda línea).
Los indicadores generales de buen ajuste del modelo de un factor mostraron resultados menos aceptables que el modelo de dos factores.

Discusión

Esta investigación permitió validar al español una versión abreviada (12 ítems) del cuestionario TUQ sobre la usabilidad de la telemedicina ^10,11.
La implementación de la telemedicina se encuentra en auge y ha sido impulsada de forma inimaginada como consecuencia de la pandemia de COVID-19 ¹⁵. Publicaciones recientes muestran que los pacientes interesados en utilizar servicios de telemedicina pasaron de un 11% a un 76% ya que consideran que estos son más convenientes, accesibles y eficientes para ellos ¹⁶. Debido a esto, resulta fundamental para las instituciones contar con recursos que brinden información confiable sobre la eficiencia y la facilidad de uso de los sistemas empleados, y encontrar oportunidades de mejora continua en los servicios asistenciales ofrecidos.
Una de las limitaciones de este trabajo radica en que, de acuerdo a los resultados de la validez discriminante, no está clara la división entre los dos factores que componen el cuestionario y existiría una elevada correlación entre ellos. Debido a esto, se realizó un análisis factorial confirmatorio teniendo en cuenta un solo factor (Tabla 3, primera línea). Sin embargo, los resultados de buen ajuste de este modelo de un solo factor fueron menos aceptables que en el modelo de dos factores (Tabla 3) ¹³. Por lo tanto, si bien los valores de la validez discriminante no señalan de forma consistente la división del modelo en dos dominios, considerar a este cuestionario con una estructura unidimensional presenta valores de ajuste más desventajosos que cuando se lo analiza con dos dimensiones. Por último, una debilidad a considerar para la validez externa de esta investigación es que fue realizada en una población atendida en un Hospital Universitario Privado de la Comunidad, lo que corresponde a un nivel de instrucción promedio correspondiente a clase social media. Por este motivo, sus resultados podrían no ser trasladables a personas de menor nivel socio-educativo.
Más allá de las limitaciones previamente descritas, nuestro trabajo cuenta con la fortaleza de haber logrado obtener una versión más breve (12 ítems) del cuestionario originalmente publicado por Parmanto y col. ¹⁰ (21 ítems). A su vez, el cuestionario original había sido validado mediante la utilización del coeficiente Alfa de Cronbach sobre una muestra de 53 cuestionarios. Destacamos haber utilizado en nuestro trabajo la técnica de análisis factorial exploratorio para la muestra “de calibración” (n = 150), y la de análisis factorial confirmatorio para la “de validación” (n = 269).
Consideramos finalmente, que este trabajo representa un escalón más del proceso comenzado por Parmanto y col. ¹⁰, de particular interés para nuestro ámbito hispanohablante.
A partir de la herramienta original publicada por estos autores, de nuestra primera traducción y adaptación transcultural de dicha escala, y finalmente, de los resultados que presentamos en esta investigación, hemos obtenido una versión abreviada validada al español que permitirá objetivar la usabilidad de los sistemas de telemedicina en nuestro medio.

Conflicto de intereses: Ninguno para declarar

Bibliografía

1. Carbo AE, Gupta M, Tamariz L, et al. Mobile technologies for managing heart failure: a systematic review and meta-analysis. Telemed J E Health 2018. doi: 10.1089/tmj.2017.0269. Online ahead of print.
2. Rat C, Hild S, Sérandour RJ, et al. Use of smartphones for early detection of melanoma: systematic review. J Med Internet Res 2018; 20: e135.
3. Helsel BC, Williams JE, Lawson K, Liang J, Markowitz J. Telemedicine and mobile health technology are effective in the management of digestive diseases: A systematic review. Dig Dis Sci 2018; 63: 1392-408.
4. Alanzi T. Role of social media in diabetes management in the middle east region: systematic review. J Med Internet Res 2018; 13: 20: e58.
5. Warshaw ET, Hillman YJ, Greer NL, et al. Teledermatology for diagnosis and management of skin conditions: A systematic review. J Am Acad Dermatol 2011; 64: 759-72.
6. Landow SM, Mateus A, Korgavkar K, Nightingale D, Weinstock SM. Teledermatology: Key factors associated with reducing face-to-face dermatology visits. J Am Acad Dermatol 2014; 71: 570-6.
7. Guidance video consultations in primary care during the COVID crisis; 2020.En: https://bjgplife.com/wp-content/uploads/2020/03/Guidance-video-consultations-in-primary-care-during-the-COVID-crisis-Spanish.pdf?fbclid=IwAR2tsa04EYaBVgKmmOR-k4sL-OUb7DC2Af-GaLLX5evR9rvvLwK-DutkEj9A; consultado abril 2020.
8. International Organization for Standardization. 9241-11:1998. Ergonomic requirements for office work with visual display terminals (VDTs)-Part 11: Guidance on usability; 1998.]. En: https://www.iso.org/standard/16883.html; consultado febrero 2019.
9. Granollers A. “MPIu+a. Una metodología que integra la ingeniería del software, la interacción persona-ordenador y la accesibilidad en el contexto de equipos de desarrollo multidisciplinares” [Tesis Doctoral]. Lleida: Universitat de Lleida; 2004.
10. Parmanto B, Lewis AN, Graham KM, Bertolet M. Development of the telehealth usability questionnaire (TUQ). Int J Tele Rehabil 2016; 8: 3-10.
11. Torre AC, Bibiloni N, Sommer J, Plazzotta F, Angles MV, Terrasa S Luna D, Mazzuoccolo LD. Traducción al español y adaptación transcultural de un cuestionario sobre la usabilidad de la telemedicina. Medicina (B Aires) 2020; 80: 134-7.
12. Streiner D. Figuring Out Factors: The use and misuse of factor analysis. Can J Psychiatry 1994; 39: 135-40.
13. Hair JF, Black WC, Babin BJ, Anderson RE. Multivariate Data Analysis, 8th ed. Cengage Learning EMEA, 2018
14. Fornell C, Larcker DF. Evaluating structural equation models with unobservable variables and measurement error. J Mar Research 1981; 18: 39-50.
15. Price KN, Thiede R, Shi VY, Curiel-Lewandrowski C. Strategic dermatology clinical operations during COVID-19 pandemic. J Am Acad Dermatol 2020; S0190-9622. Epub ahead of print.
16. Telehealth: A quarter-trillion-dollar post-COVID-19 reality?En: https://www.mckinsey.com/industries/healthcare-systems-and-services/our-insights/telehealth-a-quarter-trillion-dollar-post-covid-19-reality?cid=eml-web; consultado junio 2020.