Conceptos estadísticos para A/B Testing

A/B Testing: Es un método para determinar cusalidad a traves de estadistica inferencial.
Es decir, vamos a aceptar o rechazar una hipotesis en función de los datos observados.
Existen diferentes tipos de errores:

• Tipo I: Creer que tu variable es mejor que el control cuando en realidad no lo es.
• Tipo II: Creer que el control es mejor que tu variable, cuando en realidad no lo es.

Conceptos:

• Poder estadístico: Es la probabilidad de encontrar una diferencia, cuando esta realmente exista.
• Significancia estadística: Confianza con la que contamos para afirmar que la respuesta obtenida, no es producto del azar.
• MED Efecto minímo detectable: Es la mínima magnitud que debemos ver entre control y variación para identificar que el resultado es estadísticamente significativo.

### Errores en A/B Testing: 1. **Tipo I (Falso Positivo):** Ocurre cuando rechazamos una hipótesis nula verdadera, es decir, creemos que hay un efecto cuando no lo hay. Este error se controla mediante el nivel de significancia estadística. 2. **Tipo II (Falso Negativo):** Sucede cuando no rechazamos una hipótesis nula falsa, es decir, no detectamos un efecto real que existe. Este error se relaciona con el poder estadístico. ### Conceptos Clave: 1. **Poder Estadístico (Statistical Power):** Representa la probabilidad de que un test detecte un efecto cuando realmente existe. Aumentar el poder estadístico disminuye la probabilidad de cometer un error Tipo II. 2. **Significancia Estadística:** Es la confianza que tenemos en que la diferencia observada no es aleatoria. Se mide mediante el nivel de significancia (comúnmente establecido en 0.05) y se representa por el valor p. Un valor p menor que el nivel de significancia indica que la diferencia no es producto del azar. 3. **MDE (Minimum Detectable Effect):** Es la mínima magnitud de la diferencia que el test es capaz de detectar como estadísticamente significativa. Cuanto menor sea el MDE, mayor sensibilidad tendrá el test. ### Más Detalles: * **Nivel de Significancia:** También conocido como alfa (α), es la probabilidad de cometer un error Tipo I. Un valor comúnmente utilizado es 0.05, pero puede ajustarse según la tolerancia al riesgo. * **Valor p:** Indica la probabilidad de obtener resultados tan extremos como los observados, asumiendo que la hipótesis nula es verdadera. Si el valor p es menor que el nivel de significancia, se rechaza la hipótesis nula. * **Intervalos de Confianza:** Proporcionan un rango de valores en el cual es probable que se encuentre el verdadero efecto. Se utilizan para comprender la precisión de la estimación. * **Test A/B Secuencial:** Diseñado para detener el experimento una vez que se alcanza la significancia estadística o se demuestra la falta de efecto. Asegurarse de comprender y aplicar correctamente estos conceptos es crucial para llevar a cabo A/B Testing de manera efectiva y tomar decisiones informadas basadas en datos.

El 22.52% representa el efecto mínimo detectable en una prueba A/B. Es el cambio más pequeño que debes observar entre el grupo de control (el original) y la variación (el nuevo diseño) para concluir que la diferencia es significativa y no se debe al azar. En otras palabras, si ves un aumento en las conversiones de al menos 22.52% entre los dos grupos, puedes considerar que el cambio introducido ha tenido un impacto real.

como emprezar una tienda online