Establece la duración de tu prueba

### Establecimiento de la Duración de la Prueba: 1. **Componentes Necesarios:** Después de determinar el lugar de la prueba y las métricas clave, se tienen los componentes esenciales para calcular la duración y el efecto mínimo detectable. 2. **Ciclo de Negocio de 7 Días:** Se sugiere que las pruebas tengan un ciclo de 7 días para considerar diferentes patrones de comportamiento a lo largo de la semana. Esto proporciona una visión más completa y precisa de los resultados. 3. **Duración de 2 Semanas Ideal:** En términos ideales, se recomienda correr pruebas durante al menos 2 semanas para observar efectos significativos. Esto permite capturar variaciones a lo largo del tiempo y obtener resultados más confiables. 4. **Periodo más Largo si es Necesario:** Si no se observa un efecto en 2 semanas, es posible que sea necesario planificar un período más largo, como 4, 5 o 6 semanas. La duración dependerá de la naturaleza de la prueba y la velocidad de cambio en el comportamiento del usuario. 5. **Evitar Pruebas Excesivamente Largas:** No se recomienda correr pruebas por más de 6 semanas, ya que pueden surgir diversos efectos y variables que podrían afectar la validez de los resultados. ### Consideraciones Importantes: * **Efecto Mínimo Detectable (EMD):** Es crucial tener claro el EMD necesario para determinar si la diferencia observada es estadísticamente significativa y no simplemente producto del azar. * **Observación Continua:** La paciencia es clave. Es esencial esperar el tiempo necesario para obtener conclusiones significativas. No apresurarse a juzgar los resultados antes de completar el período planificado. * **Análisis Riguroso:** Al planificar la duración de la prueba, se debe realizar un análisis riguroso para garantizar que los resultados sean confiables y representativos del comportamiento real.

Para verificar el Efecto Mínimo Detectable (MDE) en el ejemplo, si la prueba se corre durante tres semanas, se requiere un aumento del 7.02% en las adiciones al carrito para considerar que hay significancia estadística. Si la prueba se extiende a seis semanas, el MDE disminuye a 4.94%. Esto indica que, al aumentar la duración de la prueba, se puede detectar un efecto menor, lo que es esencial para validar hipótesis en pruebas A/B.

**Se debe sumar el *MDE* y el *baseline conversion rate* para comprobar la hipótesis?** https://imgur.com/a/1pSBYyv En el ejemplo con 100k usuarios y 10k conversiones (adjunto link) marca 4.83% como MDE, con un numero de *Visitors per variant* de 50k. Esto significa que para validar que la prueba tuvo impacto debo ver un a conversión de 14.83%? `Baseline conversion rate (10%) + MDE (4.83%) = 14.83%` No se si estoy entiendo bien esta parte

Para llevar a cabo una prueba A/B, es necesario calcular el tamaño de la muestra y realizar un análisis estadístico para determinar si las diferencias observadas son estadísticamente significativas. Aquí hay una descripción detallada del proceso: ### Cálculo del Tamaño de la Muestra: 1. **Nivel de Confianza (Confidence Level):** Define el nivel de confianza deseado, comúnmente establecido en un 95% o 99%. Esto indica el porcentaje de confianza en que los resultados observados son representativos de la población. 2. **Poder Estadístico (Statistical Power):** Indica la probabilidad de detectar una diferencia si realmente existe. Un poder estadístico típico es del 80% o más. 3. **Tamaño del Efecto (Effect Size):** Estima la magnitud de la diferencia que se espera observar. Puede expresarse en términos de desviación estándar o proporción. 4. **Variabilidad (Variability):** Mide la variabilidad inherente en los datos. Puede basarse en estudios piloto o en datos históricos. 5. **Uso de una Calculadora de Tamaño de Muestra:** Utiliza una herramienta en línea o fórmulas estadísticas para determinar el tamaño de la muestra necesario. Aunque no puedo acceder directamente a enlaces, puedes buscar calculadoras de prueba A/B en línea o utilizar fórmulas específicas. ### Ejecución de la Prueba A/B: 1. **Asignación Aleatoria:** Asegúrate de asignar aleatoriamente los participantes a las variantes A y B. Esto minimiza el sesgo y permite la comparación válida. 2. **Recopilación de Datos:** Implementa un sistema robusto para recopilar datos relevantes y asegúrate de que se mantenga la integridad de los datos. 3. **Análisis Estadístico:** Utiliza pruebas estadísticas, como la t de Student para datos continuos o la prueba de chi-cuadrado para datos categóricos, para analizar los resultados. Compara las métricas predefinidas y evalúa la significancia estadística. 4. **Interpretación de Resultados:** Evalúa la dirección y magnitud de las diferencias observadas. Considera la significancia estadística y el contexto práctico al interpretar los resultados. Recuerda que la planificación cuidadosa y la atención a los detalles son cruciales en todas las etapas de la prueba A/B para obtener conclusiones fiables y aplicables.

¿Qué me recomiendan si voy a someter a experimentación el comportameintos en páginas nuevas? no tengo tráfico histórico, por ende. Gracias!

**Se debe sumar el *MDE* y el *baseline conversion rate* para comprobar la hipótesis?**  En el ejemplo con 100k usuarios y 10k conversiones (adjunto link) marca 4.83% como MDE, con un numero de *Visitors per variant* de 50k. Esto significa que para validar que la prueba tuvo impacto debo ver un a conversión de 14.83%? `Baseline conversion rate (10%) + MDE (4.83%) = 14.83%` No se si estoy entiendo bien esta parte