Calculadora de test A/B

1. ¿Qué significa el p-valor en experimentación?

El p-valor es la probabilidad de observar una diferencia en la conversión igual o superior a la obtenida asumiendo que la hipótesis nula ($H_0$) es cierta (es decir, que no existe ninguna diferencia real entre las variantes).

Si $p < 0.05$, rechazamos la hipótesis nula y concluimos que el cambio produjo una variación real con un nivel de confianza del $95\,\%$.

2. Errores Tipo I (Falso positivo) y Tipo II (Falso negativo)

• Error Tipo I ($\alpha$): Declarar que la variante B es ganadora cuando en realidad no mejora el producto. Se controla fijando el nivel de confianza (típicamente $\alpha = 5\,\%$).
• Error Tipo II ($\beta$): Descartar una variante B que sí mejoraba el producto por falta de muestra. La potencia estadística ($1-\beta$, típicamente $80\,\%$) garantiza evitar este error.

3. El peligro de mirar antes de tiempo (Peeking Problem)

Revisar a diario un test y detenerlo en el primer momento en que «marca verde» multiplica la tasa de falsos positivos del $5\,\%$ hasta más del $30\,\%$. Para evitarlo, define el tamaño muestral de antemano y no tomes decisiones definitivas hasta que ambas variantes alcancen el número calculado de visitantes.

4. La regla de los ciclos semanales completos

El tráfico web y móvil sufre una fuerte estacionalidad: los patrones de compra y registro en fin de semana difieren drásticamente de los días laborables. Todo experimento debe durar como mínimo **7 o 14 días completos** independientemente del volumen de visitas.