Aprende a interpretar p-valores, intervalos de confianza y errores de tipo I y II para validar decisiones de producto.
El p-valor es la probabilidad de observar una diferencia en la conversión igual o superior a la obtenida asumiendo que la hipótesis nula (H₀) es cierta (es decir, que no existe ninguna diferencia real entre las variantes).
Si p < 0,05, rechazamos la hipótesis nula y concluimos que el cambio produjo una variación real con un nivel de confianza del 95 %.
Revisar a diario un test y detenerlo en el primer momento en que «marca verde» multiplica la tasa de falsos positivos del 5 % hasta más del 30 %. Para evitarlo, define el tamaño muestral de antemano y no tomes decisiones definitivas hasta que ambas variantes alcancen el número calculado de visitantes.
El tráfico web y móvil sufre una fuerte estacionalidad: los patrones de compra y registro en fin de semana difieren drásticamente de los días laborables. Todo experimento debe durar como mínimo **7 o 14 días completos** independientemente del volumen de visitas.
Un test bilateral examina si la nueva variante es tanto significativamente mejor como significativamente peor que el control. En desarrollo de producto es esencial saber si un cambio empeora la conversión para detenerlo a tiempo, por lo que el enfoque bilateral es el estándar recomendado por la industria.
El MDE representa el menor porcentaje de mejora relativa en la conversión que un experimento es capaz de detectar con fiabilidad estadística. Cuanto más pequeño sea el efecto que buscas detectar (por ejemplo, un +2 % frente a un +15 %), mayor será el tamaño de muestra requerido.
Esta calculadora aplica la prueba Z de dos proporciones para variables dicotómicas (conversión sí/no: registro, compra, clic). Para variables continuas con alta dispersión como el valor medio de pedido (AOV) o ingresos por visitante (RPV), se recomienda aplicar pruebas t de Student o contrastes de Kolmogorov-Smirnov.
