Sesgos y falacias: Una enciclopedia de bolsillo. (Segunda parte)

El lunes pasado se publicó un articulo que tiene la intención de enseñar al lector los peligros de las falacias y los sesgos. Se trataron un par y para no hacer una novela decidí partir el artículo y continuar en una segunda parte. Ten en cuenta que los artículos están redactados de tal manera que la lectura desde el primero y su continuación en orden sea óptima, por lo que si no has leído la primera parte te recomiendo que lo hagas. Así que, una vez leído, continuemos donde lo dejamos.

 

El sesgo del experimentador y el de las publicaciones científicas.

Imaginemos que eres un investigador en un laboratorio y sostienes la hipótesis de que el ácido clorhídrico ataca el oro. Estás bastante seguro porque has elaborado un modelo en el margen teórico que permite explicarlo bastante bien, así que coges una disolución del ácido, dejas caer una pepita de oro y observas: No ocurre nada. ¿Es  posible que se haya creado una capa de óxido alrededor de la pepita que impida la reacción? ¿Es posible que la concentración de ácido sea la correcta? ¿Por qué me planteo que el error está en el experimento y no en mi modelo? La tendencia a creer, certificar y publicar datos que concuerdan con sus expectativas con respecto al resultado de un experimento y desechar, desacreditar o infravalorar las ponderaciones correspondientes a los datos que parezcan estar en conflicto con sus expectativas son causa del sesgo del experimentador.

En el libro de Tónicos de la Voluntad de Ramón y Cajal se puede leer que los científicos tienden a mimar sus propias ideas más de lo normal, posicionándose a su favor siempre que puedan mientras que cuando son ajenas tienden a intentar falsarlas normalmente. Ese sesgo es un derivado del sesgo de confirmación, pero más enfocado a la práctica científica. Incluso a veces se llega al punto de la falsificación de datos: a veces con mala fe y a veces con buena fe. Esta práctica de manipular los resultados inconscientemente se conoce como efecto del observador expectante. Y es que esperas un resultado, y si no coincide con tus expectativas, te las montas para hacer que encaje.

Como vemos que no hemos obtenido nada relevante (simplemente parece ser que el modelo no funciona) dejamos la investigación en el cajón cogiendo polvo y no publicamos el resultado negativo. Después de un tiempo, una investigadora vuelve a probar la reactividad del oro y tampoco obtiene nada así que tampoco lo publica. Al poco tiempo, se publica un artículo de un investigador que ha hecho reaccionar oro y ácido clorhídrico. Y se publica. ¿Qué ve alguien que busca investigaciones sobre la reactividad del oro? Que con ácido clorhídrico reacciona y además no hay investigaciones que lo nieguen. Este es un problema actual conocido como el sesgo de publicación y es provocado por la publicación de lo significativo frente a lo no significativo. Si aplicamos este sesgo podemos suponer que encontraremos bastantes publicaciones sobre resultados positivos en el campo de, por ejemplo, las medicinas alternativas. ¿Pero y que hay que los resultados negativos? ¿Si marcamos un gol es válido, pero si nos lo marcan no?

Esto genera problemas graves en los metaanálisis, que son un conjunto de herramientas estadísticas útiles para interpreta los datos de una colección de estudios. Viene a ser algo así como un estudios de estudios. Así pues, el problema salta a a vista, y es que si un estudio positivo tiene más probabilidades de ser publicado que un estudio con resultados negativos, el metaanálisis estará desviado hacia lo positivo, pues la mayoría de estudios que analiza son positivos (¡porque no puede analizar los negativos ya que no se publican!).

Un metaanálisis sin este sesgo, es decir, publicando resultados tanto positivos como negativos, debería tener la siguiente forma.

Digamos que si el tamaño de muestra es el eje vertical y el resultado es el eje horizontal (a la derecha indica positivo, a la izquierda negativo), se observa que forma una campa y que un lado contrarresta al otro y en general el resultado es 0. Esta gráfica podría ser por ejemplo el metaanálisis de estudios sobre homeopatía si no hubiera sesgo. En cambio, lo que se observa si el sesgo es muy pronunciado es lo siguiente: 

Claro, no hay publicaciones no significativas, pues queda el resto, que son significativa y el metaanálisis arroja un resulta positivo si no se tiene en cuenta. Pero si te fijas en las imágenes verás que hay una especie de campana. Si se hace la media a grosso modo de los estudios publicados de tamaño muestral similar, vemos que la media siempre queda en el mismo lugar. En el caso de la primera imagen sería el 0 aproximadamente. En cambio, si lo hacemos con la imagen de la publicación sesgada, se observa que la media varía con el tamaño muestral, y eso no debería de ser así. Si surge esta correlación, es decir, si la media varía de manera inversa al tamaño muestral, quiere decir que existe el sesgo, porque de no ser así, la media debería ser siempre la misma.

Así que hay que tener cuidado cuando se leen metaanálisis o investigaciones de un tamaño muestral pequeño.

 

La obediencia a la autoridad y la falacia de autoridad

Uno de los experimentos que destapan en mayor medida la crueldad a la que puede llegar el ser humano es el experimento de Milgram. Para llevarlo acabo se reclutaban voluntarios para participar en un ensayo sobre “estudio de la memoria y el aprendizaje”, por lo que se pagaban cuatro dólares (unos 28 actuales). A esos reclutas se les ocultó la verdad, y es que no iban a ser testigos sobre en ensayo sobre la memoria y el aprendizaje, sino de la obediencia a la autoridad. El experimento se hizo con cuarenta voluntarios de entre 20 y 50 años de edad que abarcaban todo tipo de educación. En total se necesitaban a tres personas para llevar a cabo el experimento: El maestro (que realmente era el voluntario), el experimentador (que era quien dirigía el experimento) y el alumno. El alumno era un compinche del experimentador y sabía de qué iba todo esto. El experimentador explica al maestro que tiene que castigar con descargas eléctricas al alumno cada vez que falle una pregunta.

Así pues, tenemos a un experimentador, un voluntario que hará de maestro y un alumno compinche. Para darle más credibilidad, el experimentador ofrecía los roles “al azar”, es decir, les daba dos papeletas a los supuestos dos voluntarios (uno de ellos es el alumno compinche) y cuando el compinche escogía una papeleta decía que le había tocado ser alumno. Claramente en ambas papeletas ponía “maestro”, así que el voluntario se tragaba el engaño. El alumno se sentaba en una especie de silla eléctrica y lo ataban a ella para que no se moviera con las descargas. Se le colocaban unos electrodos en su cuerpo con crema “para evitar quemaduras” y, además, el experimentador decía en voz alta que las descargas podrías llegar a ser peligrosas. Cabe decir que el maestro no podía ver al alumno porque los separaban en diferentes módulos antes de empezar las descargas, pero sí se podían oír entre ellos. El experimentador estaba durante todo el experimento junto al maestro. Luego, el maestro le debía hacer una serie de preguntas sobre memorización. Primero se le recitaban las palabras que luego deberá recordar correctamente cuando se le ofrezcan múltiples opciones. Si fallaba, el alumno recibiría una descarga eléctrica cada vez mayor que iban desde 15V a 450V.

Los resultados fueron escalofriantes.

Esto nos hace ver hasta qué punto estamos a merced de los que tienen autoridad.

Este experimento surge de la falacia de autoridad, que consiste en considerar como cierto aquello que afirma un experto o autoridad en la materia por el mero hecho de serlo. En el caso del experimento de Milgram, la autoridad es el investigador o experimentador, e insistía al maestro en aplicar descargas eléctricas y éste lo tomaba como una autoridad y las aplicaba. Llevado al campo de la ciencia, podemos encontrar como la gente utiliza el argumento de autoridad para darle credibilidad y afirmar sus creencias. Un ejemplo claro es el de Luc Montagnier, un premio nobel en medicina que afirma que la homeopatía debe tomarse en serio. No, el hecho de que lo diga un nobel no es argumento como para darle validez a una hipótesis. Porque de igual modo un nobel lo afirma, otro lo niega, como lo hizo Jean-Marie Lehn en una entrevista publicada en Jotdown. Así que de aquí podemos sacar dos cosas; que uno de los nobeles miente, y como necesariamente uno miente, se concluye que el hecho de ser una autoridad no da validez a una afirmación.

 

Referencias.

Jeng, M. (2006): «A selected history of expectation bias in physics», artículo en inglés en la revista American Journal of Physics, 74: 578-583

Ramón y Cajal. Reglas y consejos sobre investigación científica. Los tónicos de la voluntad, Espasa-Calpe, Madrid, 1991.

«The “File Drawer Problem” and the Tolerance for Null Results». Psychological Bulletin 86 (3): 638–641.

Luc Montagnier, (2011). Nobel Prize Winner, Takes Homeopathy Seriously. Publicada en http://www.huffingtonpost.com/. 

Entrevista a Jean-Marie Lehn (2014).  Publicada en http://www.jotdown.es/

The following two tabs change content below.

Adrián Gómez

Estudiante de química en la Universidad de Barcelona. No sabe por qué pero le atrae todo lo que implique sesgos y pseudociencia. Curiosamente escéptico y escépticamente curioso. Enamorado de Tim Minchin.

Sobre Adrián Gómez

Estudiante de química en la Universidad de Barcelona. No sabe por qué pero le atrae todo lo que implique sesgos y pseudociencia. Curiosamente escéptico y escépticamente curioso. Enamorado de Tim Minchin.
Añadir a favoritos el permalink.