¿Qué significa una «diferencia significativa» entre tratamientos?

Ésta es una pregunta engañosa porque «diferencia significativa» puede tener varios significados.

En primer lugar, puede expresar una diferencia que sea realmente importante para el paciente. Sin embargo, cuando los autores de los informes de investigación establecen que existe una «diferencia significativa», en general hacen referencia a la «significación estadística». Y las «diferencias estadísticamente significativas» no necesariamente son «significativas» en el sentido común y corriente de la palabra. Una diferencia entre los tratamientos que sería muy poco probable que se deba al azar o la casualidad, es decir, una diferencia estadísticamente significativa puede tener escasa o ninguna importancia para fines prácticos.

Tomemos el ejemplo de una revisión sistemática de ensayos aleatorizados que compararon las experiencias de decenas de miles de hombres sanos que tomaron una aspirina al día con las experiencias de decenas de miles de otros hombres sanos que no tomaron aspirina. Esta revisión descubrió que los ataques cardíacos eran menos frecuentes entre quienes tomaron aspirina y la diferencia fue «estadísticamente significativa», es decir, que era poco probable que pudiera explicarse por la intervención del azar.

Pero eso no significa que tiene necesariamente una importancia práctica. Si las probabilidades de que un hombre sano sufra un ataque cardíaco son muy bajas de por sí, puede no estar justificado que tome un medicamento para reducir aún más el riesgo, en especial porque la aspirina tiene efectos colaterales, algunos de los cuales (por ejemplo, la hemorragia) suelen ser mortales. [1]

En función de la evidencia científica de la revisión sistemática, se puede estimar que si 1000 hombres tomaran una aspirina al día durante diez años, cinco de ellos evitarían un ataque cardíaco durante ese tiempo, pero tres de ellos sufrirían una hemorragia importante.

  • Robert42

    The wording here is not inaccurate but it is unfortunate. Saying that a statistically significant result is unlikely to have occurred by chance implies causality of the treatment being tested. That isn’t true. A statistically significant difference is simply one where the measurement system (including sample size, measurement scale, etc.) was capable of detecting a difference (with a defined level of reliability). Just because a difference is detectable, doesn’t make it important, or unlikely.

    • Anonymous

      Hi Robert

      Thanks for your comment, and important clarification. I think here the authors made a trade-off between precision and getting the message across.

      There is a similar comment on the previous page (hit Previous above to see it), to which Paul Glasziou, one of the co-authors, gave a reply which is much better than any I could hope to muster.

      Please check it out and do let us know if you feel it merits further discussion.

      cheers

      Douglas