← 14 · La lección: señal frente a ruido F8
Un «no hay diferencia» puede significar que no había datos para verla
¿Cuántas ventas hacen falta para detectar una diferencia como la de Islas Baleares y Murcia?
1 El problema
Casi todos los contrastes de esta web han terminado igual: no se encontró efecto. El mes ganador no superaba al azar. La región que crecía en satisfacción, tampoco. Ventas y satisfacción no se relacionan.
Queda una duda razonable. ¿De verdad no hay nada, o es que con estos datos no se podía ver?
2 Por qué engaña
Un contraste que no encuentra efecto no demuestra que no lo haya. Demuestra que este estudio no lo vio. Eso depende de tres cosas: el tamaño del efecto, cuánto varía la magnitud y cuántos datos hay.
Con pocos datos, un efecto real e importante puede pasar desapercibido. Con muchos, una diferencia insignificante sale significativa. En los dos casos, el p leído solo lleva a una conclusión equivocada.
3 El principio
La convención es 80 %: se acepta fallar una de cada cinco veces. Y el tamaño del efecto se mide en desviaciones, con la d de Cohen, para poder comparar magnitudes que van en unidades distintas.
4 La solución
Se fija el tamaño del efecto que se quiere poder ver, se convierte en d y se despeja cuántos datos por grupo hacen falta para detectarlo con un 80 % de potencia. Si hay menos, el estudio no podía verlo, y su «no hay diferencia» no dice nada.
El ejemplo toma como referencia la diferencia de ticket entre las dos provincias de los extremos, Islas Baleares y Murcia, las mismas de la paradoja de Simpson. Para los resultados negativos de esta web, el mes y la satisfacción, se haría la misma cuenta con el efecto más pequeño que interesara detectar. Esa cuenta no está hecha aquí.
5 Qué pasa con estos datos
Para ver una diferencia de ese tamaño con un 80 % de probabilidad hacen falta 323 ventas por provincia. Estas dos tienen 366 y 375, así que un efecto así estaba a su alcance.
6 Para qué sirve
Para calcular el tamaño de la muestra antes de montar el experimento, que es cuando resulta útil. Un test A/B que arranca sin este número puede durar semanas sin llegar a ninguna conclusión.
Y para leer con criterio los resultados negativos de otros estudios. Cuando un informe concluye que una medida no tuvo efecto, la pregunta es con cuántos casos lo midió.
El detalle técnico
d de Cohen con desviación combinada, fórmula de dos muestras independientes para 80 % de potencia y 5 % de error en un contraste bilateral. El contraste que acompaña es una t de Welch, que no supone varianzas iguales.
Ver el cálculo
# Cuantos datos harian falta para ver un efecto de este tamano
s = sqrt((var_a + var_b) / 2) # desviacion combinada
d = abs(media_a - media_b) / s # d de Cohen: el efecto en desviaciones
# 1,96 es el umbral del 5 % de error; 0,84 el del 80 % de potencia
n_por_grupo = ceil(2 * ((1.96 + 0.84) / d) ** 2)
Fuente: inferencia.json, campo f8_potencia.