¿Y el resto de los metaanálisis sobre homeopatía?

A raíz de mi última publicación siento la necesidad de explicar el resto del paradigma sobre los metaestudios más importantes que se han realizado a lo largo de estas casi tres décadas. Creo que es suficiente con el análisis profundo de uno (el de 1997), que es el que contiene más contradicciones bajo mi punto de vista, para que el lector pueda hacerse una idea de cómo interpretarlos correctamente. El resto de metaanálisis suelen señalar lo mismo que el publicado por Linde y el resto de sus colegas en The Lancet hace ya casi veinte años. Pero no está de más mirarlos a través de la lupa escéptica para poder ver desde lo alto del faro hacia qué puerto avanzan las evidencias en el campo del ensayo clínico. Por orden cronológico, analizaremos:

  • El de 1991, por Jos Kleijnen, Paul Knipschild y Gerben ter Riet, publicado en British Medical Journal, con un factor de impacto de 4,338 en el 1992 (no dispongo de datos anteriores).
  • En segundo lugar, en 1999, Impact of Study Quality on Outcome in Placebo-Controlled Trials of Homeopathy por Klaus Linde,  Michael Scholz y otros. Cabe señalar que Klaus Linde es el autor, entre otros, del metaanálisis de 1997. Fue publicado en Journal of Clinical Epidemiology, con un factor de impacto de 2,062.
  • En tercera posición, en el año 2000, un metaanálisis realizado por Cucherat M., Haugh M.C., Gooch M y Boissel J.P., publicado en  European Journal of Clinical Pharmacology, con un factor de impacto de 1,729.
  • Tiempo después, en 2005,  Shang, A.J. y sus colegas publicaban un metaanálisis en The Lancet sobre homeopatía, con un factor de impacto de 23,407.
  • Y finalmente, en 2008, Karl und Veronica Carstens-Stiftung, Essen, Germany publicaban un estudio sobre los metaanálisis en Journal of Clinical Epidemiology, con un factor de impacto de 2,896.

El de 1991 dice lo siguiente.

Los resultados de la revisión pueden ser dificultados por el sesgo de publicación, sobre todo en un tema tan controvertido como la homeopatía. Por el momento la evidencia de ensayos clínicos es positiva pero no suficiente para dibujar conclusiones definitivas porque la mayoría de los ensayos son de la calidad metodológica baja y por el papel del sesgo de publicación. Esto indica que hay un caso legítimo para una evaluación adicional de la homeopatía, pero sólo por medio de un buen desempeño ensayos.

Un cinco es suficiente, menos de un cinco, no suficiente y suspendido. Es algo que sabemos todos. Este ensayo no arroja evidencia suficiente, tal y como lo señalan los propios autores. También vemos varias críticas debido a los bajos controles que se utilizan al realizar doble ciego.  También nos hablan de lo importante que es el problema del sesgo de publicación (p. 321).

Es fácil afirmar que el ensayo fue a doble ciego, pero los pacientes tienen muchas maneras de romper el código. Esto podría explicar las pequeñas diferencias a favor de la homeopatía. El doble ciego no se ha comprobado en algunos ensayos.

[…]

Es difícil descubrir las verdaderas razones de la falta de presentar un artículo para su publicación, pero creemos que los resultados (posiblemente negativos) pueden haber sido un importante factor en estos casos.

No se puede extraer una conclusión definitiva. Palabra de los autores.

Nos vamos a 1999, donde Klaus Linde, el autor del metaanálisis que observamos a fondo, nos vuelve a sorprender. En este caso ha sido conservador y podemos leer lo siguiente.

Nuestros análisis proporcionan una clara evidencia de que en el conjunto de estudio investigó ensayos más rigurosos tienden a producir efectos de menor tamaño. La explicación más plausible de este hallazgo es el sesgo.

[…]

En los estudios de homeopatía evaluados aquí, el doble ciego resultó ser el factor de influencia más relevante. Una posible explicación es que el sesgo de este factor podría ser particularmente importante, ya que en estos ensayos la homeopatía se utiliza principalmente para condiciones suaves y crónicas, para los cuales hay pocas medidas de resultado objetivas.

[…]

La evidencia de sesgo debilita los resultados de nuestro metaanálisis original [Hace referencia al publicado en 1997]. Desde que completamos nuestra búsqueda en la literatura en 1995, han sido publicados un número considerable de nuevos ensayos de homeopatía. El hecho de que varios de los nuevos ensayos de alta calidad tienen resultados negativos, y una reciente actualización de nuestra revisión para el subtipo más “original” de la homeopatía (clásica o la homeopatía individualizada), parecen confirmar el hallazgo de que los ensayos más rigurosos tienen resultados menos prometedores. Parece, por lo tanto, es probable que por lo menos sobreestimó los efectos de tratamientos homeopáticos en nuestro metaanálisis [el de 1997].

Volvemos a ver el mismo patrón que en los anteriores metaanálisis: sesgo de calidad, sesgo de publicación, resultados positivos que caminan por el límite de lo que no es significativo… ¡Y una novedad! ¡El propio Klaus Linde advierte que probablemente sobrestimaron los resultados obtenidos en 1997! La evidencia no es tan clara como la quieren pintar algunos. De hecho, estamos viendo que absolutamente no es clara.
Una año después, en el 2000, encontramos lo siguiente.

Tenemos identificados a solo unos ensayos no publicados. Aunque no podemos excluir la posibilidad de que los resultados del metaanálisis se hayan visto afectados por el sesgo de publicación, los resultados del análisis de sensibilidad sugieren que esto es poco probable. También podría argumentarse que el sesgo de publicación es menos probable que existan en la homeopatía que en otras áreas de la medicina. Ensayos sobre homeopatía con resultados negativos podrían ser más fácilmente aceptados por revistas no homeopáticas, ya que la falta de eficacia de la homeopatía está de acuerdo con la creencia de muchos médicos no homeopáticos. Sin embargo, la mayoría de los ensayos que nosotros identificamos, sobre todo las que incluyen a pocos pacientes, se publicaron en revistas de homeopatía. Podríamos esperar que, en estas revistas, los ensayos negativos habrían sido rechazados con mayor facilidad que los positivos, lo que conduce a un sesgo de publicación.

[…]

Aunque el valor de p fue estadísticamente significativo cuando se agruparon todos los datos, este se convirtió en no significativo cuando el análisis se restringió a los cinco ensayos con el más alta calidad y, por lo tanto, menos susceptibles al sesgo potencial. La misma relación ha sido también encontrada recientemente por Linde et al. Por lo tanto, la puesta en común de los ensayos de alta y media calidad da un resultado potencialmente defectuoso. […] Recientemente, ha sido reportada en otras áreas de la medicina una exageración de la eficacia del tratamiento cuando se agruparon los ensayos de menor calidad.

 

Así pues, podemos ver que el patrón, por desgracia, se vuelve a cumplir: no arroja resultados concluyentes, los autores afirman que la evidencia es muy débil y que se puede explicar debido a la baja calidad metodológica. Los mismos resultados se cumplen una y otra vez: los sesgos, tal y como os advertí en la primera parte de la trilogía Sesgos y falacias: Una enciclopedia de bolsillo, nos están comiendo el terreno. Y de momento la evidencia positiva concluyente sigue sin aparecer.

Adelantamos el reloj cinco años para aterrizar en 2005. El equipo de Aijing Shang realizó el metaanálisis más grande jamás publicado sobre homeopatía en The Lancet.

Los sesgos están presentes en los ensayos controlados con placebo, tanto en la homeopatía como en la medicina convencional. Cuando se tuvieron en cuenta en el análisis, hubo pruebas débiles de un efecto específico de los remedios homeopáticos, pero fuerte evidencia de los efectos específicos de las intervenciones convencionales. Este hallazgo es compatible con la noción de que los efectos clínicos de la homeopatía son efectos placebo.

[…]

El sesgo en los ensayos es una posible explicación de los resultados positivos de los ensayos controlados con placebo de la homeopatía y la alopatía. El sesgo de publicación se define como la publicación de ensayos preferencial de los resultados beneficiosos ante los ensayos negativos. La significativa baja calidad metodológica de muchos ensayos es otra fuente importante de errores.

[…]

Asumimos que los efectos observados en los ensayos controlados con placebo de la homeopatía se pueden explicar por una combinación de deficiencias metodológicas y de información sesgada. A la inversa, se postula que los mismos sesgos no podían explicar los efectos observados en los ensayos controlados con placebo de la medicina convencional. Nuestros resultados confirman estas hipótesis: cuando los análisis se limitan a grandes ensayos de mayor calidad no había pruebas convincentes de que la homeopatía fue superior al placebo, mientras que se mantuvo un efecto importante para la medicina convencional. Nuestros resultados apoyan la hipótesis de que los efectos clínicos de la homeopatía, pero no los de la medicina convencional, son efectos placebo o de un contexto inespecífico .

En 1991, Kleijnen y sus colegas argumentaron que no hay ninguna razón para creer que, en comparación con la homeopatía “la influencia del sesgo de publicación, el manejo de datos, mala metodología, etc. es mucho menor en la medicina convencional”. De hecho, encontramos que los ensayos de la homeopatía tendían a ser de mayor calidad metodológica que los ensayos de medicina convencional, aunque la mayoría de los ensayos de uno u otro tipo de medicina eran de baja calidad o inciertos.

[…]

La identificación de los estudios no publicados es muy difícil, y probablemente se perdió alguno de los ensayos.

[…]

Un metaanálisis de Linde y otro colaboradores se basó en una extensa búsqueda en la literatura, que hemos actualizado para nuestro estudio, pero no incluyó los ensayos de la medicina convencional. Estos investigadores concluyeron que sus resultados eran “no es compatible con la hipótesis de que los efectos clínicos de la homeopatía son completamente debido al placebo”. Sin embargo, en un análisis posterior, más detallada de los mismos datos, se observó que los ensayos más rigurosos produjeron tamaños del efecto más pequeños y que, en su metaanalálisis, probablemente “al menos sobreestimaron los efectos de los tratamientos homeopáticos”. En un estudio separado, el mismo grupo observado que muchos ensayos en medicina complementaria tienen importantes debilidades metodológicas. Finalmente, un estudio de 23 ensayos de homeopatía que se consideraron de alta calidad metodológica encontró que los pocos ensayos que utilizaron criterios de valoración objetivos eran todos negativos.

[…]
Nuestro estudio ilustra poderosamente la interacción y el efecto acumulativo de las diferentes fuentes de sesgo. Reconocemos que probar un negativo es imposible, pero hemos demostrado que los efectos observados en los ensayos controlados con placebo de la homeopatía son compatibles con la hipótesis de placebo.

 

El metaanálisis publicado por el equipo de Shang siembra dudas y tapa la supuesta clara evidencia positiva que algunos homeópatas sostienen sobre los anteriores estudios (que ya hemos visto que de clara nada, monada). Este, analiza los datos y métodos obtenidos y usados por el equipo de Linde en 1997 siendo todavía más estricto a la hora de seleccionar los ensayos como buenos y se encuentra que cuando se escogen aquellos estudios con mayor calidad metodológica, la hipótesis de que la homeopatía es completamente placebo es pausible. En cambio, cuando bajamos la calidad metodológica observamos que aparece una leve evidencia a favor de la homeopatía. Esto, como bien señala el equipo de Shang y el resto de metaanálisis anteriores independientemente de su resultado, puede llevar a conclusiones erróneas. Además, Shang compara los ensayos homeopáticos con ensayos en la medicina convencional para ver si los sesgos como el de publicación y el de la metodología pueden afectar a ambos campos, cosa que no hizo el equipo de Linde en 1997. Si la medicina homeopática tuviera efectos similares a los de la medicina convencional, el resultado después de corregir los sesgos debería ser el mismo, pero no lo es. Los medicamentos convencionales continuaban aguantando su efectividad después de corregir los sesgos, la homeopatía no.

Por último, llegamos a 2008. En este año se publica un metaanálisis en Journal of Clinical Epidemiology que tiene como autores a R. Lüdtke y A.L.B. Rutten (homeópata). En este estudio se encuentran varios puntos claves como los siguientes.

Este análisis se complementa con un análisis similar de 110 ensayos controlados con placebo de la medicina convencional. Ambos análisis mostraron que los resultados de los ensayos dependían de una serie de parámetros externos, como la calidad metodológica del ensayo, el idioma de publicación, el tipo de publicación, y la precisión del efecto, por la presente se confirman los resultados anteriores de los ensayos clínicos aleatorios en homeopatía [hace referencia al publicado por el equipo de Klaus Linde en 1999].

[…]

Por último, a partir de estos 21 ensayos, se analizó un subconjunto de ocho ensayos que había incluido un gran número de pacientes. En este caso, el efecto del tratamiento en general (en términos de la razón de momios [OR]) se estimó en 0,88, su intervalo de confianza del 95% (CI) que van desde 0,65 a 1.19. Como este intervalo cubierto la 1,00 (identidad de verum y placebo), la eficacia de los medicamentos homeopáticos no podía ser probada de manera significativa (a un nivel de 5%). Sobre la base de estas cifras, los autores [refiriéndose al metaanálisis de Shang en 2005] llegaron a la conclusión de que los efectos observados en ensayos controlados con placebo de la homeopatía son compatibles con la hipótesis de placebo. El análisis de Shang ha sido criticado a ser propenso a la selección sesgo, especialmente cuando el conjunto de 21 ensayos de alta calidad se redujo a esos ocho ensayos con un gran número de pacientes. En una carta a la revista The Lancet, Fisher et al. plantean la pregunta: “los resultados del metaanálisis en qué medida dependen de cómo se definan los umbrales para los estudios más grandes“. Este artículo se ocupa de esta cuestión. Nuestro objetivo es investigar cómo los resultados de Shang habrían cambiado si se hubiesen aplicado otros umbrales. Además, extendemos nuestro análisis a otros subconjuntos significativos de 21 ensayos de alta calidad para investigar otras fuentes de heterogeneidad, un enfoque que generalmente se recomienda para ser una herramienta valiosa en los metaanálisis.

[…]

Desde un punto de vista bayesiano, estas cifras confirman principalmente los resultados de Shang, la probabilidad a posteriori, de que los remedios homeopáticos son eficaces, en esencia se mantiene estable. Sin embargo, ni Shang ni otros discuten los resultados originales de un bayesiano, sino más bien de un punto de vista frecuentistas, con estricto apego a un punte de corte arbitrario de α=5% para decidir si la homeopatía funciona o no. En la perspectiva del frecuentista, las conclusiones sustancialmente dependerá del punto de vista que uno coja. Shang en su artículo definió arbitrariamente un subconjunto de ocho ensayos que proporcionaron un resultado total negativo para la homeopatía. Nuestro artículo muestra que la elección de otro subconjuntos significativo podría llevar a la conclusión opuesta. Por ejemplo, no hay ningún criterio externo de por qué una prueba “grande” debería tener N=98 o más pacientes definidos por Shang, otros umbrales son tan válidos y significativos como éste: por ejemplo, hendiendo el juego de datos en un umbral de N=66, el tamaño mediano de la muestra de las 110 pruebas homeopáticas, hubo un efecto significativo a favor de la homeopatía.

Este resultado puede ser interpretado de manera diferente. La perspectiva de Shang puede ser explicada por sesgos de los estudios pequeños (que incluye el sesgo de publicación). Al contrario, uno puede suponer que el resultado de Shang es un falso negativo. Según Linde y Jonas la posibilidad para encontrar un resultado falso negativo aumenta cuando las pruebas son sumamente heterogéneas, por ejemplo, cuando un sistema terapéutico en el estudio trabaja en algunas, pero no todas las indicaciones. Esta interpretación fue rechazada por Shang notando que esencialmente el mismo acercamiento no condujo a resultados falsos negativos en la medicina convencional.

[…]

En un editorial al artículo de Shang, Vandenbroucke declara que sus análisis y conclusiones sobre la homeopatía sólo ganan el significado sobre el fondo, que los mecanismos de acción de sustancias sumamente diluidas homeopáticas son completamente inverosímiles. Esto parece ser el corazón del problema: Hasta que tal mecanismo de acción no sea establecido, la credibilidad a priori para la homeopatía es baja, y esto debería causar una discusión duradera sobre el empleo de investigación en la medicina alternativa y complementaria. Nuestros resultados ni demuestran que medicinas homeopáticas son superiores al placebo ni tampoco ellos demuestran lo contrario. Esto, desde luego, nunca fue nuestra intención, este artículo arroja luz sólo sobre como los resultados totales y las conclusiones pueden cambiar dependiendo del subconjunto de ensayos homeopáticos analizados. Como la heterogeneidad entre pruebas hace los resultados de un metaanálisis menos confiable, entonces se puede considerar que que las conclusiones de Shang no son tan definitivas como ellos lo relataron.

 

Podemos oír de las propias palabras los autores, R. Lüdtke y A.L.B. Rutten, que en ningún momento este metaanálisis arroja resultados positivos o negativos y que, además, no lo pretenden enfocar así. Lo que prueba este estudio es que dependiendo de los criterios que es escojan para seleccionar los estudios como puede ser el tamaño muestral, la calidad metodológica del ensayo, el idioma de publicación, el tipo de publicación, y la precisión del efecto los resultados pueden arrojar tanto resultados significativos a favor como resultados significativos en contra.

Después de este recorrido de casi dos décadas entre metaanálisis hemos podido comprobar desde las fuentes primarias que en ningún momento hay una evidencia clara a favor de la homeopatía. Siempre es pequeña, confusa, y puesta en duda por los mismos autores debido a varios parámetros de ajuste de los metaanálisis. Los mismos autores son los que señalan que han sobrevalorado efectos, que la calidad de los ensayos es baja y que se pueden obtener resultados diferentes s de manera significativa según los datos que escojamos. Así pues, lo único que podemos concluir de los metaanálisis es que no se puede concluir nada. Lo lamento, a mi también me hubiera gustado otro final, pero desde mi punto de vista es la visión correcta que hay que tener dentro de toda esta trama de ensayos y declaraciones.

No obstante, nos estamos centrando demasiado en la evidencia clínica y no en la evidencia fisicoquímica. Y aquí podemos ser muy claros: No existe ninguna evidencia para sostener la hipótesis de que los medicamentos homeopáticos son diferentes entre sí a nivel molecular. Es decir, es azúcar. De eso sí que podemos estar seguro. Ni por técnicas químicas analíticas, ni por espectrometría de masas, ni por espectrometría IR, ni nada. Nada. Así que, visto este escenario, resulta paradójica la situación: Con las técnicas fisicoquímicas no hay ni rastro de evidencia a favor. Con los ensayos clínicos a veces aparecen resultados positivos pero nada concluyentes debido a los sesgos. Lo que me lleva a la siguiente conclusión:

La leve evidencia positiva a favor de la homeopatía sobrevive a nuestros días alimentándose de la incertidumbre que proporciona el sistema de publicación actual.

 

Echar por tierra el conocimiento sobre la química y la física que tenemos del universo actualmente solo porque en algunos ensayos se observan leves evidencias no concluyentes es, cuanto menos, de ser muy poco precavido. Afirmaciones extraordinarias requieren pruebas extraordinarias.

Disculpadme si no me he zambullido en los estudios como hice con el publicado por Linde K. en 1997, es simplemente cuestión de tamaño. Si queréis detalles precisos de los metaanálisis, recomiendo que accedáis a ellos y os los leáis con calma.

Referencias:
-Jos Kleijnen, Paul Knipschild, Gerben ter Riet. British Medical Journal (1991), V.302, p. 316-323
-Klaus Linde, Michael Scholz et ál. Journal of Clinical Epidemiology (1999), V.52, No. 7, p. 631-636
-Cucherat M., Haugh M.C., Gooch M y Boissel J.P. European Journal of Clinical Pharmacology (2000), V.56 p.27-33
-Shang, A.J. et ál. The Lancet (2005), V.366, p.726-732
-Karl und Veronica Carstens-Stiftung, Essen, Germany. Journal of Clinical Epidemiology (2008), V.18, p. 1197-1204

The following two tabs change content below.

Adrián Gómez

Estudiante de química en la Universidad de Barcelona. No sabe por qué pero le atrae todo lo que implique sesgos y pseudociencia. Curiosamente escéptico y escépticamente curioso. Enamorado de Tim Minchin.

Sobre Adrián Gómez

Estudiante de química en la Universidad de Barcelona. No sabe por qué pero le atrae todo lo que implique sesgos y pseudociencia. Curiosamente escéptico y escépticamente curioso. Enamorado de Tim Minchin.
Añadir a favoritos el permalink.