Métricas de éxito en pruebas A/B
Contenido del curso
Análisis Pre-Test
Configura y lanza tu experimento
Análisis Post-Test
Métricas de éxito en pruebas A/B
Métricas de éxito en pruebas A/B
Contenido del curso
Mauricio Combariza
Patricio Sánchez Fernández
Alexander Flores Rayme
MARIA TERESA PANIAGUA RIVERA
Octavio Soriano
Juan Fermin Pacheco Cancino
Elegir métricas: La métrica de exito debe ser la misma para el contról y para la variación. La metrica principal de exito debería estar tan cerca al tratamiento como sea posible. Es decir si quiero ver que tanto funciono la idea de incluir cuotas en el pago debo mirar que tanto se inclinan o dan click por la opción de cuotas y como metrica secundaria las conversiones de dinero.
Buen resumen, Mauricio...!
Métricas Clave para Evaluar el Desempeño:
Consejos Adicionales:
Gracias
En esta sexta clase aprendí la importancia de elegir métricas que realmente se alineen con el cambio que quiero validar. Por eso, para mi experimento con el producto VibeX™, decidí optimizar un nuevo creativo enfocado en dispositivos móviles, buscando aumentar el CTR. Esta será mi métrica principal, ya que está directamente relacionada con el tratamiento aplicado.
Además, definí dos métricas secundarias que me ayudarán a entender el impacto más allá del clic: el CPA, para evaluar la eficiencia en costo por adquisición, y el ROAS, para analizar el retorno de la inversión. Estas métricas complementarias me permitirán tener una visión más completa del desempeño de la campaña y tomar decisiones con mayor confianza.
Opté por una duración de 5 días y establecí un MDE del 10%, ajustado a mis condiciones actuales. Esta planificación me asegura que el experimento tenga una base sólida, con hipótesis clara, KPIs alineados al objetivo y foco total en el comportamiento real del usuario.
El experimento de la clase se centra en introducir la opción de pagos a cuotas en una tienda en línea con un ticket promedio alto. La métrica principal utilizada para evaluar el impacto de este cambio es la "adición al carrito" (add to cart), ya que mide la respuesta inmediata del usuario al cambio propuesto. Las métricas secundarias incluyen las transacciones y los ingresos por usuario. Estas métricas ayudan a entender si el cambio realmente afecta el comportamiento de compra, complementando la evaluación de la métrica principal.