← 14 · La lección: señal frente a ruido F13
Descontar el efecto del producto tampoco hace aparecer una relación
¿Y si el producto estaba tapando la relación entre importe y satisfacción?
1 El problema
La página 13 concluyó que entre lo que se factura y lo satisfecho que queda el cliente no hay relación, con una correlación de 0,0034 sobre 15.980 ventas.
Queda una objeción con fundamento. Cada producto tiene su precio y su nivel de satisfacción, así que mezclar todos los productos puede estar ocultando una relación que sí existe dentro de cada uno.
2 Por qué engaña
Una tercera variable puede alterar una correlación de dos formas, que llevan a error por igual.
Puede crear una correlación donde no la hay, que es el caso famoso de los helados y los ahogamientos, unidos por el verano. Y puede enmascarar una que sí existe, cuando empuja a las dos variables en direcciones contrarias. Lo segundo es menos conocido.
3 El principio
4 La solución
A cada venta se le resta la media de su producto, en las dos variables. Lo que queda son los residuos: de cuánto se desvía esa venta del importe típico de su producto y de cuánto se desvía su satisfacción de la típica del mismo producto.
Después se correlacionan los restos. Si el producto era lo único que unía a las dos variables, la correlación baja mucho. Si estaba ocultando una relación, esta aparece.
5 Qué pasa con estos datos
La correlación sube, de 0,0034 a 0,0133. Al descontar el producto, la correlación sale 3,9 veces mayor que la bruta, pero las dos son casi cero.
Aun así, no es significativa. Con 15.980 ventas detrás, un p de 0,0936 se queda fuera del umbral y una correlación de 0,0133 explica solo el 0,018 % de la variación. La conclusión de la página 13 se mantiene.
6 Para qué sirve
Siempre que alguien defiende un hallazgo diciendo «pero si separas por segmento». El desglose puede cambiarlo todo, como en la paradoja de Simpson, o puede no cambiar nada. Solo el cálculo lo puede decir.
Es también el primer paso de cualquier análisis causal, porque obliga a nombrar qué tercera variable se sospecha antes de tocar los datos.
El detalle técnico
Correlación de Pearson sobre los residuos de restar la media por producto, que con una sola variable categórica de control equivale a la parcial clásica. Entran las 15.980 ventas válidas que tienen satisfacción, es decir, el 80 % del total.
Ver el cálculo
# Correlacion parcial: se quita de las dos variables lo que explica la tercera
medias = d.groupby("prod")[["importe", "satisfaccion"]].transform("mean")
rx = d["importe"] - medias["importe"] # lo que sobra del importe
ry = d["satisfaccion"] - medias["satisfaccion"] # lo que sobra de la satisfaccion
r_parcial, p_parcial = pearsonr(rx, ry) # correlacion de los restos
Fuente: inferencia.json, campo f13_correlacion_parcial.