Potencia Estadística

Requisitos Previos

Para comprender el concepto de potencia estadística, se recomienda tener algunos conocimientos previos sobre estadística descriptiva e inferencial.

Definición e Importancia

Definición

La potencia estadística se expresa de 3 maneras diferentes:

1. Potencia estadística es la probabilidad de encontrar significancia estadística si la hipótesis alternativa es verdadera.
2. La potencia estadística es la probabilidad de rechazar correctamente una hipótesis nula falsa, donde la hipótesis nula es la hipótesis que propone que no hay diferencias significativas entre poblaciones específicas (e.g., grupos de control frente a grupos experimentales).
3. Potencia estadística = 1 – beta (β), donde β = error de tipo II (falso negativo), equivalente a 1 – sensibilidad. Cuanto más potente sea un estudio clínico experimental, más fácilmente detectará un efecto del tratamiento cuando realmente exista.

Baja potencia estadística

Menos del 13% de los 31 873 ensayos clínicos publicados entre 1974 y 2017 tenían una potencia estadística adecuada. Un estudio con una potencia estadística baja significa que los resultados de la prueba son cuestionables y plantea problemas potencialmente graves, entre ellos:

• Una menor probabilidad de detectar un efecto verdadero, genuino y significativo en la población estudiada, lo que puede bloquear la realización de más estudios
• Menor probabilidad de que un resultado estadísticamente significativo refleje un efecto verdadero (e.g., más falsos positivos)
• Sobreestimación del verdadero tamaño del efecto del tratamiento
• Baja reproducibilidad
• Posible violación de los principios éticos:
  • Los pacientes y voluntarios sanos siguen participando en investigaciones que pueden tener un valor clínico limitado.
  • Sacrificio innecesario de animales de investigación
• Desorden en la interpretación de estudios con muestras pequeñas que utilizan la misma metodología, pero que producen resultados contradictorios

Demasiada potencia estadística: estudios con exceso de potencia

Los estudios con demasiada potencia estadística, también llamados “estudios con exceso de potencia”, suelen ser problemáticos por las siguientes razones:

• Pueden ser engañosos, ya que tienen el potencial de mostrar una significancia estadística y también diferencias clínicas sin importancia/irrelevantes
• Resultan en un desperdicio de recursos
• Pueden ser poco éticos debido a la participación de seres humanos y/o animales de laboratorio en experimentos innecesarios

Características

La potencia estadística solo tiene relevancia cuando se puede rechazar la hipótesis nula, y viene determinada por las siguientes variables:

• Alfa (α)
• Beta (β)
• Desviación estándar de la población
• Tamaño de la muestra
• Tamaño del efecto del tratamiento

Alfa

Alfa es la probabilidad de dar un resultado positivo en una prueba diagnóstica entre quienes no tienen la enfermedad, lo que provoca un error de tipo I o un “falso positivo”.

• Alfa = la probabilidad de rechazar la hipótesis nula entre aquellos que satisfacen la hipótesis nula
• Alfa = 1 – especificidad = “valor p” = “el nivel de significancia”
• Alfa = falsos positivos/(falsos positivos + verdaderos negativos)
• A un nivel de significancia (alfa) de 0,05, el 5% de las muestras puede mostrar una diferencia falsamente significativa debida simplemente al azar.
• La mayoría de los estudios utilizan un límite alfa del 5% (0,05).

Beta

Beta es la posibilidad de dar un resultado negativo en una prueba diagnóstica entre los que padecen la enfermedad, lo que provoca un error de tipo II o un “falso negativo”.

• Beta = la probabilidad de aceptar la hipótesis nula entre aquellos que no satisfacen la hipótesis negativa
• Beta = 1 – sensibilidad
• Beta = falsos negativos/(falsos negativos + verdaderos positivos)
• Beta está directamente relacionada con la potencia estadística del estudio (potencia estadística = 1 – β).
• Con un nivel de beta de 0,2, el 20% de las muestras pueden pasar por alto una verdadera diferencia significativa.
• La mayoría de los estudios utilizan un límite beta del 20% (0,2).
• A diferencia de alfa, hay un valor diferente de beta para cada valor medio diferente de la hipótesis alternativa; por lo tanto, beta depende tanto del valor de corte establecido por alfa como de la media de la hipótesis alternativa.

Relación entre alfa y beta

La relación entre alfa y beta suele representarse en gráficos que muestran:

• 2 poblaciones o distribuciones normalizadas:
  • Un grupo de control
  • Un grupo experimental (que puede tener una media diferente y estadísticamente significativa)
• H0: la hipótesis nula, que afirma que solo hay 1 media verdadera (del grupo de control) y que cualquier variación encontrada en la muestra/grupo experimental solo se debe a una variación aleatoria normal en la distribución
• H1: la hipótesis alternativa, que es un enunciado que contradice directamente la hipótesis nula al afirmar que el valor real de un parámetro de la población es menor o mayor que el valor establecido en la hipótesis nula.
• Alfa (α): el área de falsos positivos (generalmente se muestra como una prueba de hipótesis de 2 colas)

Existe una relación inversa entre alfa y beta. Si beta está disminuida:

• El área de alfa aumentaría.
• El número de falsos negativos o errores de tipo II disminuiría.
• El número de falsos positivos o errores de tipo I aumentaría.

La relación inversa de alfa y beta también se puede apreciar en una tabla de contingencia 2 x 2 que compara los resultados positivos y negativos de la realidad frente a un estudio.

Desviación estándar de la población

La desviación estándar es una medida de la cantidad de variación o dispersión de un conjunto de valores en relación con la media.

• Se calcula como la raíz cuadrada de la varianza, que es la media de las diferencias al cuadrado con respecto a la media.
• Cuanto mayor sea la desviación estándar, más pacientes se necesitan en una muestra para demostrar una diferencia estadísticamente significativa.

Tamaño de la muestra

El tamaño de la muestra es el número de observaciones de una muestra.

• Una muestra más grande representará mejor a la población, por lo que la potencia de la prueba aumentará de forma natural.
• Parámetro más utilizado para aumentar la potencia de un estudio

Para una prueba t de 2 muestras y 2 colas con un nivel alfa de 0,05, la sencilla fórmula que aparece a continuación dará un tamaño de muestra aproximado necesario para tener una potencia estadística del 80% (beta = 0,2):

donde n = tamaño de cada muestra, s = desviación estándar (se supone que es la misma en cada grupo), y d = diferencia a detectar. La mnemotecnia, sugerida por el creador de la fórmula, Robert Lehr, es “16 s-squared over d-squared.” (16 s-cuadrado sobre d-cuadrado). (Nota: “s-cuadrado” también se conoce como varianza).

Ejemplos:

1. Encuentre el número aproximado de pacientes con hipertensión en estadio I (sistólica 130–139 mm Hg o diastólica 80–89 mm Hg) necesario para proporcionar una potencia del 80% para detectar una diferencia de 15 mm Hg en los tratamientos de presión arterial diastólica A y B utilizando una prueba t de 2 muestras, 2 colas, alfa = 0,05, dado que la desviación estándar esperada para cada grupo es de 15 mm Hg.
   Respuesta:
   El tamaño aproximado de la muestra n = “16 s-cuadrado sobre d-cuadrado” = 16 x 15²/15²= 16 x 225/225 = 16 personas en cada grupo. Tenga en cuenta que uno de los “tratamientos” suele establecerse como grupo de control (no tratado).

2. De otra forma: en 2 grupos con 16 pacientes cada uno que sufrían de hipertensión en estadio I, se encontró una diferencia de 15 mm Hg después de que los pacientes de cada grupo fueran tratados con 2 tratamientos diferentes.
   Si alfa = 0,05 y beta = 0,2, ¿el tamaño de la muestra era suficiente para detectar una diferencia significativa?
   Respuesta:
   n = 16 x 15²/15²= 16 personas en cada grupo. Así que, sí, el tamaño de la muestra era suficiente.
3. En la pregunta 1, ¿cuál sería el número aproximado de pacientes necesarios, si el investigador quisiera detectar una diferencia de 7,5 mm Hg en lugar de una diferencia de 15 mm Hg, con todos los demás parámetros iguales?
   Respuesta:
   n = 16 x 15²/7,5² = 16 x 225/56,25 = 64 personas en cada grupo
   En este último ejemplo, obsérvese que para detectar la mitad de la diferencia se necesita 4 veces el tamaño de la muestra, lo que se hace evidente con la simple fórmula.

Tamaño del efecto del tratamiento

El tamaño del efecto es la diferencia media estandarizada entre 2 grupos, que equivale exactamente a la “puntuación Z” de una distribución normal estándar.

• Si la diferencia entre los 2 tratamientos es pequeña, se necesitarán más pacientes para detectar una diferencia.
• Otras situaciones que tienen tamaño del efecto:
  • La correlación entre 2 variables
  • El coeficiente de regresión en un cálculo de regresión
  • El riesgo de un evento concreto (e.g., un accidente cerebrovascular)

Cálculo del tamaño del efecto con la d de Cohen:

La d de Cohen es el método más común (pero imperfecto) para calcular el tamaño del efecto. La d de Cohen = la diferencia estimada en las medias/(desviaciones estándar estimadas agrupadas), donde:

Si las desviaciones estándar son iguales en cada grupo, entonces d = diferencias medias/desviación estándar. Por ejemplo, si la diferencia es de 150 y la desviación estándar es de 50, entonces d = 150/50 = 3, que es un tamaño del efecto grande.

Interpretación de la d de Cohen:

• Tamaño del efecto pequeño: Si d = 0,2, la puntuación o valor del sujeto medio del grupo experimental está 0,2 desviaciones estándar por encima del valor del sujeto medio del grupo de control, superando los valores del 58% del grupo de control.
• Tamaño del efecto medio: Si d = 0,5, el valor del sujeto medio del grupo experimental está 0,5 desviaciones estándar por encima del valor del sujeto medio del grupo de control, superando los valores del 69% del grupo de control.
• Tamaño del efecto grande: Si d = 0,8, el valor del sujeto medio está 0,8 desviaciones estándar por encima del valor del sujeto medio del grupo de control, superando los valores del 79% del grupo de control.

Resumen de características

En resumen, la potencia estadística tenderá a ser mayor cuando:

• El tamaño del efecto (diferencia entre grupos) es grande.
• El tamaño de la muestra es grande.
• Las desviaciones estándar de las poblaciones son pequeñas.
• El nivel de significancia alfa es mayor (e.g., 0,05 en lugar de 0,01).
• El corte beta es bajo (e.g., 0,1 frente a 0,2).
• Se utiliza una prueba de 1 cola en lugar de una prueba de 2 colas.
  • Sin embargo, la hipótesis direccional no puede detectar una diferencia en la dirección opuesta.
  • Esta prueba se utiliza raramente.

Errores comunes

• Rechazar una hipótesis nula (e.g., hay una diferencia significativa) sin considerar la importancia práctica/clínica del hallazgo del estudio
• Aceptar una hipótesis nula (e.g., no rechazar una hipótesis nula) cuando un resultado NO es estadísticamente significativo, sin tener en cuenta la potencia
• Ser convencido por un estudio de investigación con poca potencia
• No realizar un análisis de potencia/cálculo del tamaño de la muestra
• No corregir la inferencia múltiple al calcular la potencia:
  • La inferencia múltiple es el proceso de realizar más de 1 prueba de inferencia estadística en el mismo conjunto de datos.
  • La realización de varias pruebas sobre el mismo conjunto de datos en la misma fase de análisis aumenta la posibilidad de obtener al menos 1 resultado no válido.
• Utilizar tamaños de efecto estandarizados (e.g., los tamaños de efecto pequeños, medianos y grandes de la d de Cohen) en lugar de considerar los detalles del propio diseño experimental. A veces, un experimento puede tener un resultado pequeño de la d de Cohen pero ser un experimento mejor.
• Confundir la potencia retrospectiva (calculada después de recoger los datos) y la potencia prospectiva

Análisis

Un análisis de potencia responde a 2 grandes preguntas:

1. ¿Qué cantidad de potencia estadística se considera adecuada?
2. ¿Qué tamaño de muestra se necesita?

¿Qué potencia estadística se considera adecuada?

El nivel mínimo tradicional de potencia es el 80% (o 0,80), al igual que el valor arbitrario del 5% (o 0,05) es el límite mínimo tradicional de alfa para fijar el valor p en 0,05.

• Un nivel de potencia del 80% significa que hay un 20% de probabilidad de encontrar un error de tipo II (falso negativo).
• Este nivel aceptable del 20% de tener errores de tipo II es 4 veces mayor que la probabilidad del 5% de encontrar un error de tipo I (falso positivo) para el valor estándar del nivel de significancia.
• Los errores de tipo I suelen considerarse peores que los de tipo II.

Sería mucho mejor tener un nivel de potencia del 90%. Aunque se necesitan más recursos, hay que tener en cuenta que se necesitaría aún más para volver a realizar el estudio más adelante.

¿Qué tamaño de muestra se necesita?

• Una muestra lo suficientemente grande como para detectar un efecto de importancia científica práctica que garantice una probabilidad lo suficientemente alta como para rechazar una hipótesis nula falsa
• El análisis de potencia debe realizarse antes de iniciar un experimento.
  • No se puede seguir añadiendo sujetos a un experimento terminado que tenía un valor p casi significativo.
  • Esta práctica está mal vista y constituye lo que se llama “p-hacking” o “data-dredging” (términos en inglés para “manipulación de la p” y “cavar datos” respectivamente).
• Calcular el tamaño adecuado de la muestra para una prueba t de muestras independientes:
  • Estimar (mediante un estudio piloto o datos históricos) las medias poblacionales de los 2 grupos o la diferencia entre las medias, que debe ser el tamaño del efecto más pequeño que tenga interés científico.
  • Estimar (mediante un estudio piloto o datos históricos) las desviaciones estándar de la población de los 2 grupos.
  • Decida qué niveles de alfa (e.g., 0,05) y beta (e.g., 0,2) se desean.
  • Introduzca estos valores (alfa, beta, las 2 medias estimadas y la desviación estándar estimada conjunta) en una calculadora de potencia estadistica en línea de buena reputación para obtener el tamaño de la muestra.
  • Los cálculos son algo complejos y siempre se hacen con un ordenador.
  • Se puede calcular el tamaño aproximado de la muestra mediante la fórmula n =16s²/d², como se ha comentado anteriormente.

Ejemplos de Cálculos y Análisis de Potencia Estadística

Escenario 1

Se hizo una prueba con un nuevo fertilizante llamado “Grow-A-Lot”, se le dio a un agricultor de tomates para determinar si se producían más tomates por planta con el nuevo fertilizante en comparación con las plantas no fertilizadas. El agricultor escogió 200 semillas de tomate de un cubo de sus semillas habituales y las dividió en dos grupos:

• Un grupo de 100 semillas que no recibieron fertilizante (el grupo de control)
• Un grupo de 100 semillas que recibieron fertilizante (el grupo experimental)

La hipótesis nula es que ambos grupos de plantas producirían el mismo número de tomates por planta, mientras que la hipótesis alternativa sería que las plantas que reciben el fertilizante producirían un número diferente de tomates.

Ensayo 1 con muestras de gran tamaño:

El grupo fertilizado produjo una media del doble de tomates (300) que el grupo de control (150). También hay un pequeño solapamiento, ya que algunas plantas del grupo de control superaron a las demás de su grupo, mientras que algunas plantas del grupo experimental tuvieron un rendimiento inferior. Basta con echar un vistazo al gráfico para darse cuenta de que hay una diferencia evidente, pero se realizó una prueba t para confirmar que la diferencia era estadísticamente significativa, con un valor p muy pequeño.

Aunque el experimento se repitiera 1 000 veces, sería extremadamente improbable que el agricultor eligiera al azar un conjunto diferente de semillas de la región de solapamiento para obtener un resultado diferente. El tamaño del efecto grande por sí solo da a este ensayo una gran cantidad de potencia estadística porque sería extremadamente improbable que la repetición del muestreo produjera un resultado diferente.

Ensayo 2 con tamaños de muestra pequeños:

El experimento conservaría una gran potencia estadística con muchas menos semillas también, y casi todas las pruebas t darían correctamente un valor p significativo (pequeño).

Escenario 2

Se utiliza un fertilizante diferente (fertilizante “Grow-A-Little”) que tiene un efecto mucho menor, produciendo una media de solo 10 tomates más por planta. Habrá un mayor solapamiento de la producción de tomate por planta entre los grupos experimental y de control, que solo podrá detectarse utilizando tamaños de muestra mayores.

Ensayo 3 con tamaños de muestra grandes y grandes desviaciones estándar:

El tamaño de las muestras es lo suficientemente grande como para contrarrestar el tamaño del efecto pequeño, lo que hace que la diferencia sea estadísticamente significativa con un valor p < 0,05. Obsérvese que, aunque la diferencia es estadísticamente significativa, esta pequeña diferencia puede no tener una importancia práctica o relevante para el agricultor.

Ensayo 4 con tamaños de muestra pequeños y grandes desviaciones estándar:

Debido al pequeño tamaño de las muestras, no se encuentran diferencias estadísticamente significativas con un valor p < 0,05. Por lo tanto, no se puede rechazar la hipótesis nula porque el ensayo no tenía un efecto o tamaño de muestra lo suficientemente grande.

Ensayo 5 con tamaños de muestra pequeños y desviaciones estándar pequeñas:

Debido a una pequeña desviación estándar, la diferencia es estadísticamente significativa con un valor p de 0,05. La desviación estándar suele ser un parámetro fijo en una población y no puede modificarse, pero el mismo resultado puede obtenerse efectivamente aumentando el tamaño de la muestra. El aumento disminuye el impacto de un valor grande pero fijo de la desviación estándar, permitiendo la detección de diferencias más pequeñas entre los grupos analizados.

Preguntas de Práctica

Los investigadores que participaron en el diseño de un ensayo clínico aleatorio eligieron un tamaño de muestra que tuviera una potencia del 90% para detectar una diferencia del 20% entre el grupo de control y el experimental, con un nivel de significancia (a 2 bandas) del 5%.

Pregunta 1

Si en realidad no hay diferencias en las medias, ¿cuál es la probabilidad de que el estudio encuentre una diferencia estadísticamente significativa? ¿Cómo se llama este error?

Respuesta: un error de tipo I (falso positivo). Se trata de una pregunta terminológica y es el típico tipo de pregunta presente en los exámenes, con la potencia insertada como distractor. Consulte el primer gráfico multicolor de arriba: si no hay diferencias entre los 2 grupos, entonces solo habría 1 curva de campana, con el corte alfa que describe los falsos positivos; por lo tanto, la probabilidad de encontrar una diferencia estadísticamente significativa es del 5%, creando un error de tipo I (falso positivo), porque cualquier sujeto que tenga un valor en el área alfa pertenece a la misma población.

Pregunta 2

¿Aumenta/disminuye/no cambia la potencia si se reduce la beta?

Respuesta: la potencia aumenta si se disminuye beta, ya que la potencia = 1 – beta. Consulte el primer gráfico multicolor.

Pregunta 3

¿Aumenta/disminuye/no cambia la potencia si se aumenta el alfa?

Respuesta: la potencia aumenta si se incrementa alfa, lo que aumenta la probabilidad de falsos positivos; por lo tanto, aumentar alfa no es una forma recomendada para aumentar la potencia. Consulta el primer gráfico multicolor para ver la relación entre alfa y potencia. En un examen, se suele utilizar una tabla de contingencia 2 x 2 de la realidad/verdad frente a los resultados del estudio/prueba para enmarcar esta pregunta. Es importante entender cómo calcular los errores de tipo I y de tipo II.

Pregunta 4

¿Aumenta/disminuye/no cambia la potencia si aumenta la diferencia entre la media del grupo experimental y la del grupo de control?

Respuesta: la potencia aumenta al aumentar la diferencia de medias, que es otra forma de aumentar el tamaño del efecto al haber menos solapamiento entre las 2 distribuciones. Vea el primer gráfico multicolor.

Pregunta 5

¿Aumenta/disminuye/no cambia beta si aumenta la diferencia entre la media del grupo experimental y la del grupo de control?

Respuesta: beta disminuye si la diferencia media aumenta, ya que hay menos solapamiento entre las 2 poblaciones. Vea el primer gráfico multicolor.