Cálculo de duración y MDE en tests A/B

Diseñar experimentos sólidos exige claridad en la métrica principal, entender el tráfico expuesto y calcular el tiempo de ejecución con un efecto mínimo detectable realista. Aquí se explica, paso a paso, cómo estimar duración y MDE con poder estadístico de 80% y significancia de 95%, usando datos concretos sin suposiciones externas.

Duración y efecto mínimo detectable: cómo decidir con datos reales

Para estimar cuánto debe correr una prueba y qué cambio mínimo distinguir del azar, se parte de la métrica principal, el tamaño de muestra expuesta y las tasas actuales de conversión. Así, el MDE te indica la diferencia necesaria entre control y variación para separar la señal del ruido.

¿Cómo usar el análisis pretest con poder estadístico y significancia?

• Mantén valores estándar: poder estadístico 80% y significancia 95%.
• Define el canal y el lugar del cambio: página de inicio y checkout.
• Fija la métrica principal: clic en añadir al carrito.
• Usa promedios recientes para estimar muestra y conversiones.

¿Qué es el efecto mínimo detectable y por qué importa?

• Es la diferencia mínima entre variación y control que puedes detectar con confianza.
• Sirve para planear duración: más tiempo, menor MDE; menos tiempo, mayor MDE.
• Ejemplo con histórico de tráfico:
• 3 semanas: MDE ≈ 7.02%.
• 6 semanas: MDE ≈ 4.94%.
• Recomendación práctica: buscar MDE < 5% cuando sea razonable influir el comportamiento.
• Nota: los promedios recientes pueden cambiar; úsalo como marco de decisión, no como garantía.

Tráfico, muestra y conversiones: qué incluir y qué excluir

El tamaño de muestra debe contar solo a quienes ven el tratamiento. Incluir usuarios no expuestos sesga los cálculos y subestima el MDE.

¿A quién contar como tráfico expuesto al tratamiento?

• Excluye usuarios de secciones fuera del experimento: por ejemplo, blog si no se prueba allí.
• Si nadie llega a checkout sin pasar por inicio, usa la página de inicio como referencia.
• Datos base del ejemplo: 19,800 usuarios semanales en inicio (últimas seis semanas).

¿Qué métricas principales y secundarias considerar?

• Métrica principal: adiciones al carrito.
• Conversiones semanales para el cálculo: 1,600 usuarios añaden al carrito.
• Métricas secundarias (p. ej., transacciones) pueden calcularse, pero elevan la dificultad para detectar efecto.
• Decisión de negocio: prioriza la métrica con mayor sensibilidad al cambio propuesto.

Duración ideal de pruebas y adaptaciones a email marketing

La duración debe respetar los ciclos de negocio semanales y el contexto del canal. En web, evita cortar antes de ver patrones completos; en email marketing, todo sucede en una sola ola.

¿Cuántas semanas correr la prueba A/B en sitio?

• Mínimo: 1 semana para cubrir el ciclo completo.
• Ideal: 2 semanas si alcanzas el MDE planificado.
• Máximo: 6 semanas para evitar efectos que ensucien datos y por practicidad.
• Evita iniciar lunes y cerrar jueves: perderías el patrón del fin de semana.
• Si planeas 4–6 semanas: espera al final para concluir con significancia.

¿Cómo cambia el MDE en email marketing según el objetivo?

• Si pruebas asunto del correo: todo ocurre en la semana 1.
• Con tus volúmenes esperados, el MDE de la reacción al asunto sería ≈ 12.3%.
• Si pruebas un llamado a la acción en el cuerpo:
• Tráfico pasa a ser quienes abren: 1,600.
• Conversiones históricas de clic en llamado a la acción: 280.
• El MDE sube de forma radical: alrededor de 30%.

¿Cómo interpretar MDE altos para cambios de UI?

• Un MDE cercano al 30% exige un cambio muy grande en comportamiento.
• Señal de alerta: pruebas como botón rojo vs verde probablemente no aporten valor.
• Usa el MDE como filtro para priorizar hipótesis con potencial real de impacto.

¿Ya ajustaste tu plan de experimento con duración y MDE? Compártelo en comentarios y cuéntanos tus valores y decisiones clave.