Cómo detectar errores en datos de A/B testing
Contenido del curso
Análisis Pre-Test
Configura y lanza tu experimento
Análisis Post-Test
Cómo detectar errores en datos de A/B testing
Cómo detectar errores en datos de A/B testing
Contenido del curso
Alexander Flores Rayme
Emilio Vegas
MARIA TERESA PANIAGUA RIVERA
Mauricio Combariza
Mauricio Mejia
Carlos Trujillo
Profesor
Octavio Soriano
María Paula Molano
Riesgos de Experimentación:
Mecanismos para Mitigar Riesgos:
Prueba A/A Test:
Consideraciones:
"Entre más llamativos sean los datos observados más probable es que se deban a un error"
Gracias
Riesgo de experimentación: -Instrumentación -Confiabilidad. -Temporalidad.
Mecánismos para mitigar los riesgos: -Métricas de seguridad: Medir el número de devoluciones o de quejas. -Detectores de SRM (Sample ratio mismatch): Es un detector que se da, cuando el tráfico no está correctamente distribuido.
Cual es el nombre de las métricas de seguridad en ingles, no entiendo la primera palabra .-.
Mauricio: el nombre es 'Guardrail Metrics'. También son conocidas como 'Counter Metrics'.
Clase 12: Riesgos y Métodos de Validación en A/B Testing Digital
En esta clase profundizamos en los riesgos de validez en A/B testing y en cómo asegurarnos de que los datos con los que tomamos decisiones realmente reflejen la realidad del comportamiento del usuario. Aprendimos conceptos clave como la Ley de Toyman, los errores de instrumentación, efectos de temporalidad, y herramientas como las guardrail metrics, pruebas AA y detectores de SRM (Sample Ratio Mismatch).
En mi caso, realicé un experimento de A/B testing en Meta Ads con dos variantes creativas del producto Vivex™ de Gangaliz: una en formato imagen y otra en formato video.
¿Cómo apliqué estos conceptos en mi experimento real?
1. Ley de Toyman – Cuidado con datos llamativos
2. Distribución intencional por rendimiento – No fue un SRM clásico
3. Guardrail Metrics – Más allá del CTR
4. Temporalidad bien controlada
5. Sin pruebas AA, pero con aprendizajes clave
Esta experiencia me mostró que las herramientas automatizadas como Meta Advantage+ son increíbles para optimizar resultados, pero si lo que buscamos es validar hipótesis de forma estricta (como en A/B testing científico), debemos configurar campañas manuales o bien entender muy bien cómo y por qué Meta decide asignar tráfico.
> _**“ Entre más llamativos sean los datos observados más probable es que se deban a un error. ”**_ >>Ley de Toyman