Health and Quality of Life Outcomes, 2005; 3: 33-33 (más artículos en esta revista)

La consistencia interna de fiabilidad es un pobre predictor de la respuesta

BioMed Central
A Puhan Milo (milo.puhan @ evimed.ch) [1], Dianne Bryant (jackowdm@mcmaster.ca) [2], Gordon Guyatt H (guyatt@mcmaster.ca) [2], Diane talones-Ansdell (ansdell @ Mcmaster.ca) [2], Holger J Schünemann (hjs@buffalo.edu) [2]
[1] Horten Centre, University Hospital, Postfach Nord, 8091 Zurich, Switzerland
[2] Department of Clinical Epidemiology and Biostatistics, McMaster University, 1200 Main St. W., Health Sciences Centre, Room 2C12, Hamilton, Ontario, L8N 3Z5 Canada
[3] Departamento de Medicina de la Universidad McMaster, Centro de Ciencias de la Salud, Hamilton, Ontario, Canadá L8N 3Z5

Este es un artículo de acceso abierto distribuido bajo los términos de la licencia Creative Commons License (http://creativecommons.org/licenses/by/2.0], que permite el uso irrestricto, la distribución y reproducción en cualquier medio, siempre que la obra original sea debidamente citada.

Resumen
Antecedentes

Si la respuesta es una propiedad de medición de la salud relacionados con la calidad de vida (CVRS) instrumentos que se distingue de la fiabilidad y la validez es una cuestión de debate. Hemos abordado las reivindicaciones de un reciente estudio, que sugiere que los investigadores pueden confiar en la coherencia interna de reflejar instrumento de respuesta.

Métodos

516 pacientes con enfermedad pulmonar obstructiva crónica o lesión de rodilla que participan en cuatro estudios longitudinales completado genéricos y específicos de una enfermedad CVRS cuestionarios antes y después de una intervención que afectaba a la CVRS. Se usó el coeficiente de correlación de Pearson y los coeficientes de regresión lineal para evaluar la relación entre la fiabilidad de consistencia interna (expresado como alfa de Cronbach), el tipo de instrumento (genéricos y específicos de la enfermedad) y de respuesta (expresado en la respuesta media estandarizada, SRM).

Resultados

La media de alfa de Cronbach fue 0,83 (SD 0,08) y SRM media de 0,59 (SD 0,33). La correlación entre el alfa de Cronbach y de los MER fue 0,10 (95% IC -0,12 a 0,32) en todos los estudios. Alfa de Cronbach por sí sola no explica la variabilidad de los materiales especificados de riesgo (p = 0,59, r 2 = 0,01), mientras que el tipo de instrumento era un fuerte predictor de la SRM (p = 0,012, r 2 = 0,37). En modelos multivariable aplicado a los estudios individuales alfa de Cronbach fallado en predecir los MER (coeficientes de regresión entre -0,45 y 1,58, p-valores entre 0,15 y 0,98) mientras que el tipo de instrumento hizo predecir los MER (coeficientes de regresión entre -0,25 a -0,59, p - Valores entre <0,01 y 0,05).

Conclusión

Los investigadores deben mirar a los datos distintos de la fiabilidad de consistencia interna para seleccionar un instrumento de respuesta para su utilización como un resultado en los ensayos clínicos.

Antecedentes

La salud en relación con la calidad de vida (CVRS) instrumentos adecuados deben demostrar la fiabilidad test-retest, transversal y longitudinal validez ante los investigadores usan para evaluar los resultados en los estudios de investigación. Independientemente de la respuesta, la capacidad de un instrumento para detectar cambios en la CVRS cuando se produzca un cambio, es una medida distinta de la propiedad fiabilidad y validez sigue siendo, sin embargo, la polémica [1 - 4].

Lindeboom et al. Supuestamente a prueba la hipótesis de que la respuesta no es una medición de la propiedad, pero se encarna en la coherencia interna fiabilidad [5]. Para investigar su hipótesis, los autores eliminado el elemento más que contribuye a la coherencia interna (tal como se determina mediante alfa de Cronbach) en una moda por etapas de la componente física de la enfermedad de la gente de Impacto perfil, la de Barthel de actividades de la vida diaria y la escala de dominio psicosocial La de Graves oftalmología de calidad de vida usando los datos de tres estudios anteriores. Después de cada eliminación por etapas, que recalcula alfa de Cronbach y de la respuesta de los medios normalizados (SRM, el cambio Resultado dividido por la desviación estándar de puntuación de cambio), de los temas restantes. Luego se evaluó la correlación de estas nuevas alfas de Cronbach con el nuevo MER y observaron fuertes asociaciones (rango de coeficientes de correlación de Spearman entre 0,90 y 1,00). Llegaron a la conclusión de que la coherencia interna refleja adecuadamente la fiabilidad de un instrumento y la capacidad de respuesta que los investigadores pueden usar las dos entidades intercambiable.

El primer problema conceptual con el enfoque Lindeboom et al. Eligió es que se veían en la correlación de la coherencia interna fiabilidad y capacidad de respuesta dentro de los estudios individuales y de los instrumentos. Sin embargo, este planteamiento no tiene en cuenta que la respuesta depende del tipo de intervención al mismo tiempo la coherencia interna no fiabilidad. La mayoría de las medidas de CVRS puede ser muy fiables, pero la coherencia interna fiabilidad no tiene nada que ver con el tratamiento que está produciendo el cambio. Por el contrario, si una intervención objetivos de los aspectos de la CVRS que son cubiertos específicamente por una enfermedad específica de instrumento, por ejemplo, la capacidad de respuesta es probable que sea alta. Si el efecto de otra intervención dirigidos a aspectos distintos de los incluidos en el instrumento, la capacidad de respuesta será menor. Así, el enfoque en estudio no tiene en cuenta que la respuesta no es una propiedad fija de medición.

Otra cuestión importante a considerar es la influencia de otros factores determinantes de un instrumento de respuesta, como el tipo de instrumento, genéricos o específicos de una enfermedad. Hay numerosas pruebas de que la respuesta depende del tipo de instrumento. [6 - 9] Lindeboom instrumento dentro del enfoque no tiene en cuenta esta cuestión.

Por último, si en el instrumento con el enfoque por etapas deconstrucción de dominios es utilizado, sería de esperar por etapas disminuye la coherencia interna de la fiabilidad, la flexibilidad y la medición de otras propiedades como transversales de la validez por las siguientes razones. La consistencia interna fiabilidad se reduce cuando la mayoría de los elementos que contribuyen a la coherencia interna fiabilidad se retiran porque el error en el denominador aumenta. Por la misma razón, la capacidad de respuesta si se deteriora el número de artículos es reducido [10]. Así, es probable ver a un descenso paralelo de la coherencia interna fiabilidad y capacidad de respuesta, incluso si no hay relación entre estas dos propiedades de medición. De hecho utilizando el enfoque de Lindeboom uno esperaría alta correlación entre la fiabilidad y la consistencia interna de medición de otras propiedades como transversal, la validez y la consiguiente conclusión de que todos son consagrados en la coherencia interna fiabilidad. La evaluación de la relación entre la fiabilidad y la consistencia interna de respuesta debe incluir toda dominios, ya que fueron desarrollados, validados y utilizados en la investigación.

Habiendo examinado las dificultades y las limitaciones metodológicas más arriba, hemos analizado la relación entre la fiabilidad y la consistencia interna de respuesta de todo a través de los diferentes dominios de instrumentos y estudios con datos de varios de nuestros estudios anteriores.

Métodos
Estudios

A priori hemos definido los siguientes criterios de admisibilidad para garantizar una selección imparcial de los conjuntos de datos como sea posible y asegurarse de que era teóricamente posible detectar una correlación entre la fiabilidad y la consistencia interna de respuesta si existiera. Se aplicaron los siguientes criterios:

1. Los estudios deben tener seguimiento longitudinal con una línea de base de evaluación y por lo menos un seguimiento de evaluación completada por el grupo de investigación CLARITY (McMaster University, Hamilton, Ontario, Canadá) en los últimos cinco años.

2. Los estudios deben haber investigado una intervención de efectividad establecido que inducen a cambios en la CVRS.

3. Los estudios deben incluir ≥ 2 de varios artículos CVRS instrumentos que permiten el cálculo del alfa de Cronbach y de los instrumentos de un estudio debe tener distintos grados de sensibilidad (por ejemplo, genéricos frente a enfermedades específicas) para garantizar la variabilidad en la respuesta. Nos espera la variabilidad en el alfa de Cronbach que se limita a los valores ≥ 0,60, porque sólo los que son generalmente aceptados para representar a la fiabilidad suficiente consistencia interna [3].

Análisis estadístico

Se calculó alfa de Cronbach utilizando la base de referencia para las puntuaciones de cada dominio de cada instrumento de CVRS o instrumento para el total de dominios si no existiera. Del mismo modo, para cada dominio o para una puntuación total, se calcularon los MER (cambiar Resultado dividido por la desviación estándar de puntuación de cambio).

Se calculó la correlación entre el alfa de Cronbach y de los correspondientes SRM utilizando coeficientes de correlación de Pearson en todos los estudios y para cada estudio por separado. Luego construyeron modelos de regresión lineal con el SRM como la variable dependiente y el alfa de Cronbach como la variable independiente. Dado que el tipo de instrumento (genéricos o específicos de una enfermedad) afecta a la SRM [6 - 9], que presenta el tipo de instrumento como una covariable en los modelos de regresión. Para todos los modelos de regresión, ajustados para una posible agrupación de los datos procedentes de un mismo grupo de pacientes (por ejemplo, los pacientes de un estudio proporciona datos para ocho ámbitos de la Encuesta Short Form 36) mediante el uso de la función de la categoría de STATA. Hemos realizado todos los análisis estadísticos con STATA para Windows versión 8.2 (StataCorp, College Station, Texas, EE.UU.).

Resultados
Los estudios elegibles

Los siguientes cuatro estudios cumplieron los criterios de elegibilidad:

Relación entre la fiabilidad y la consistencia interna de respuesta

Los cuadros 1 y 2 muestran los coeficientes de fiabilidad y respuesta normalizada media de cada estudio y el instrumento. La media alfa de Cronbach en todos los estudios fue de 0,83 (SD 0,08, rango 0,61 a 0,97) y la media normalizada de respuesta media de 0,59 (DE 0,33, rango -0,08 a 1,45).

La figura 1 muestra la relación entre el alfa de Cronbach y SRM en todos los estudios. El coeficiente de correlación fue 0,10 (95% IC -0,12 a 0,32). Cuando se analizó cada estudio por separado, los coeficientes de correlación varió de -0,17 a 0,62 (Figura 2].

El cuadro 3 muestra las ecuaciones de regresión para predecir el SRM de alfa de Cronbach. En un análisis de todos los estudios incluidos fiabilidad de consistencia interna como única variable independiente no predecir la respuesta (p = 0,59, r 2 = 0,01). En cambio, un análisis que incluyó el tipo de instrumento mostró que los genéricos frente a la categorización prevista específicos de respuesta (p = 0,01, r 2 = 0,37). Analizar por separado los estudios mostraron resultados similares (Figura 2]. Sólo en el estudio 4 alfa de Cronbach fue un factor importante para predecir en el análisis sin ajustar. Incluso en este caso, cuando se presenta el tipo de instrumento en el modelo, el alfa de Cronbach ha dejado de ser un factor importante para predecir.

Discusión

Se evaluó la relación entre la fiabilidad y la consistencia interna de respuesta y no encontró pruebas para respaldar la afirmación de que los investigadores puedan utilizarlos indistintamente. En general, la coherencia interna de la fiabilidad es un pobre predictor de la respuesta. De acuerdo con resultados anteriores [6], que mostró que en contraste con el alfa de Cronbach, un factor importante para predecir la respuesta es si el instrumento es un genérico o una enfermedad específica de instrumento de CVRS.

Nuestros resultados contradicen las presentadas por Lindeboom et al. Sospechamos que estas diferencias se deben en gran parte a las diferencias de concepto y, por lo tanto, métodos estadísticos. En particular, Lindeboom dentro del instrumento y en enfoque de estudio no tiene en cuenta que la respuesta depende del tipo de instrumento y en la intervención que produce cambios en la CVRS. En nuestro análisis, hemos evaluado la relación entre la fiabilidad y la consistencia interna de respuesta a través de instrumentos y estudios.

Uno podría argumentar que nuestra incapacidad para demostrar una relación entre el alfa de Cronbach y el material especificado de riesgo se debe a la limitada variabilidad en la alfa de Cronbach a través de los instrumentos y sus dominios. De hecho, esta variabilidad limitada, en parte, explica la falta de relación. Sin embargo, al momento de elegir los instrumentos para ensayos clínicos, los investigadores se enfrentan a los coeficientes alfa de Cronbach como los que se muestra en el Cuadro 1 y 2. Si se basan en estos resultados para predecir la respuesta, se les engañó. En particular, algunos dominios con muy alto coeficiente alfa de Cronbach (SF-36 sufrimiento físico, 0,93; CRQ IA función emocional 0,90) tenía poca receptividad (MER de 0,29 y 0,24, respectivamente).

Fortalezas de nuestro estudio incluyen la definición a priori de criterios para garantizar una selección imparcial de los estudios que garanticen la gran variabilidad de respuesta creando el mayor potencial para la detección de una relación, si existiera. Además, la inclusión de muy diferentes poblaciones de pacientes (enfermedad pulmonar crónica y patología de la rodilla) y de la coherencia de los resultados a través de estos estudios y de las poblaciones aumenta la generalización de nuestro estudio. Replicación en otras poblaciones que fortalecer aún más nuestras conclusiones.

Conclusión

Nuestro estudio demuestra que la fiabilidad de consistencia interna es un pobre predictor de la respuesta y de que tanto conceptuales y estadísticos existen pruebas para apoyar el argumento de que son distintos de medición de propiedades de los instrumentos de evaluación.

Contribuciones de los autores

MAP, PP, de GEI y HJS diseñó el estudio y escribió el protocolo de estudio. MAP, de GEI, HJS PP y los datos recogidos. MAPA, el PP y el Departamento de Asuntos Humanitarios realizó el análisis estadístico. MAPA redactado y PP, de GEI, el Departamento de Asuntos Humanitarios y HJS revisado críticamente el manuscrito. Todos los autores leído y aprobado el manuscrito final.