Poder estadístico y MDE en A/B testing
Contenido del curso
Análisis Pre-Test
Configura y lanza tu experimento
Análisis Post-Test
Poder estadístico y MDE en A/B testing
Poder estadístico y MDE en A/B testing
Contenido del curso
Mauricio Combariza
Patricio Sánchez Fernández
Luis Alonso Rivera Mejía
Alexander Flores Rayme
MARIA TERESA PANIAGUA RIVERA
Octavio Soriano
Juan Fermin Pacheco Cancino
Jorge Castro
Jhon Marco Achata Limachi
A/B Testing: Es un método para determinar cusalidad a traves de estadistica inferencial. Es decir, vamos a aceptar o rechazar una hipotesis en función de los datos observados. Existen diferentes tipos de errores:
Conceptos:
Mauricio, buen resumen...!
MUY BIEN
Errores en A/B Testing:
Conceptos Clave:
Más Detalles:
Asegurarse de comprender y aplicar correctamente estos conceptos es crucial para llevar a cabo A/B Testing de manera efectiva y tomar decisiones informadas basadas en datos.
Gracias
Muy bien, me gustaría compartirles como he aplicado estos conceptos al proyecto, me entintaría que me compartieran sus opiniones:
📐 Punto 2: Aplicación de conceptos estadísticos al test de VibeX™
A partir del marco teórico de esta clase, aplicamos tres conceptos fundamentales del A/B Testing para aumentar la rigurosidad y fiabilidad de nuestro experimento en Meta Ads:
🔍 Poder estadístico
Para este test, partimos de un poder estadístico estándar del 80%, lo cual nos asegura una probabilidad razonable de detectar una diferencia real en el CTR si esta existe. Aunque trabajamos con presupuestos bajos y tiempos limitados, este nivel permite equilibrar entre fiabilidad y recursos disponibles.
✅ Nivel de significancia
Mantenemos un nivel de confianza del 95%, lo que implica aceptar solo diferencias que tengan una alta probabilidad de no deberse al azar. Esto refuerza la confiabilidad de los resultados y evita errores tipo 1 (falsos positivos), especialmente importantes al tomar decisiones de inversión en medios.
📉 Efecto Mínimo Detectable (MDE)
Usando una calculadora de A/B Testing y estimando un CTR base de 1.5%, calculamos que el efecto mínimo detectable con nuestros parámetros es aproximadamente de +22%. Esto significa que para considerar que la Variante B (creativo aspiracional) supera significativamente a la A, debería obtener al menos un CTR del 1.83%.
Este dato es clave para interpretar correctamente los resultados al final del experimento y evitar errores tipo 2 (falsos negativos), donde podríamos descartar una variante realmente mejor.
El 22.52% representa el efecto mínimo detectable en una prueba A/B. Es el cambio más pequeño que debes observar entre el grupo de control (el original) y la variación (el nuevo diseño) para concluir que la diferencia es significativa y no se debe al azar. En otras palabras, si ves un aumento en las conversiones de al menos 22.52% entre los dos grupos, puedes considerar que el cambio introducido ha tenido un impacto real.
como emprezar una tienda online
Puedes usar Shopify o woocommerce