Elegir las métricas de éxito en pruebas A/B es el paso que define si tu experimento te lleva a decisiones reales o a datos que no dicen nada. Aquí verás cómo seleccionar tu KPI principal, qué métricas secundarias sumar y por qué la cercanía al cambio importa más de lo que crees.

¿Por qué tu métrica de éxito debe ser la misma para control y variación?

Cuando defines un experimento, el primer principio es que tanto el grupo de control como la variación se midan con el mismo parámetro. Suena obvio, pero pasa más de lo que imaginas: equipos que evalúan la variación con una métrica y el control con otra distinta.

Eso es comparar peras con manzanas. Sin un KPI común, no hay conclusión estadística válida posible.

¿Qué es una métrica de éxito en una prueba A/B? Es el indicador que usas para determinar si el cambio introducido tuvo un efecto real sobre el comportamiento del usuario. Debe ser idéntico para control y variación.

¿Cómo evitar la parálisis por exceso de análisis al medir un experimento?

En entornos digitales puedes medir 200 cosas por experimento. Pero poder no es lo mismo que deber. Cuando intentas observar todo, terminas sin tomar ninguna decisión.

La recomendación práctica es trabajar con una métrica principal y un par de métricas secundarias que complementen la lectura. Nada más. Las secundarias soportan tu análisis, no lo reemplazan.

¿Qué significa que la métrica esté cerca del tratamiento?

Tu métrica principal debe estar lo más cerca posible del cambio que estás introduciendo. Si modificas la página de inicio, medir transacciones finales no te ayuda a determinar causalidad: hay demasiados pasos entre el cambio y la conversión.

Esto se conoce como el principio de proximidad en la determinación de causalidad. Cuanto más lejos esté tu KPI del tratamiento, más ruido entra en la lectura.

• Cambio en la página de inicio: mide clics o avance al siguiente paso.
• Cambio en la página de producto: mide add to cart.
• Cambio en el checkout: mide transacciones e ingresos por usuario.

Las transacciones siguen siendo relevantes, pero como métrica secundaria cuando el cambio no ocurre directamente en el checkout.

¿Cómo aplicar esto a un caso real de e-commerce?

Imagina una tienda en línea con un producto de ticket alto, cerca de 2.500 dólares. La investigación de usuarios mostró que pagar de golpe es una barrera, sobre todo en el contexto estadounidense, donde los pagos a cuotas con tarjeta no son tan comunes como plataformas alternativas de crédito privado.

La hipótesis: introducir una opción de pago a cuotas aumentará las ventas. Los cambios visibles incluyen un logo y copy debajo del botón de añadir al carrito, y la opción aparece al seleccionar medio de pago.

¿Cuál sería la métrica principal en este caso?

La métrica principal sería adiciones al carrito (add to cart). Es el indicador más cercano al cambio que se introdujo en la página de producto y el que mejor refleja si la propuesta resuena con el usuario.

Las métricas secundarias serían:

• Transacciones, porque el cambio también aparece en el checkout.
• Ingresos por usuario, para detectar si el ticket promedio se mueve.
• Adopción del nuevo medio de pago, como métrica informativa.

¿Por qué medir ingresos por usuario y no solo transacciones? Porque hay tratamientos que aumentan conversiones pero bajan el ticket promedio. Ingresos por usuario equilibra ambos efectos y te asegura que vas en la dirección correcta.

¿Qué hacer con métricas que solo existen en la variación?

Hay métricas que solo se disparan para la variación, como el porcentaje de usuarios que selecciona la nueva pasarela de pago. En el control, ese valor es cero.

Estas métricas no sirven para validar tu hipótesis estadísticamente, pero sí para informar el comportamiento. Si en tu reporte ves que el 23% de los usuarios hicieron clic en el componente, tienes una señal clara de adopción, aunque no sea evidencia causal.

¿Cómo dejar listo tu plan de experimento?

Con estos criterios, tu plan debería actualizarse así:

• Métrica principal: la más cercana al cambio (en el ejemplo, add to cart).
• Métricas secundarias: 2 o 3 que complementen, como transacciones e ingresos por usuario.
• Métricas informativas: aquellas que solo aplican a la variación y aportan contexto.

Ahora te toca a ti. Vuelve a tu plan de experimento, define tu métrica principal y tus secundarias, y compártenos tu elección en los comentarios.