Cálculo de Duración y Efecto Mínimo en Pruebas A/B

¿Cómo determinar la duración y efecto mínimo detectable en una prueba A/B?

El éxito de una prueba A/B no sólo depende de realizar cambios en el diseño o función de una página web, sino de comprender y calcular la duración adecuada y el efecto mínimo detectable necesario para obtener resultados significativos. Este conocimiento asegura que las decisiones se basen en datos sólidos y no en el azar. La evaluación meticulosa de factores como el tráfico web, las tasas de conversión y el comportamiento del usuario es fundamental para esta tarea.

¿Qué parámetros son necesarios para calcular la duración de una prueba?

Una vez que has determinado el entorno de tu prueba y las métricas principales y secundarias, los parámetros esenciales para calcular la duración de una prueba A/B incluyen:

• Muestra de usuarios expuesta al tratamiento: Calcula únicamente a quienes interactúan con los elementos del sitio web que formarán parte de la prueba. Por ejemplo, si estás realizando cambios en las páginas de inicio y checkout, solo cuenta a los usuarios que visitan estas páginas.
• Convertir tasas históricas: Identifica el promedio de usuarios que realizan la acción específica que estás midiendo, como una adición al carrito.
• Poder estadístico y significancia estadística: Usualmente establecidos en 80% y 95%, respectivamente, estos son valores estándar en la industria para garantizar la fiabilidad de los resultados.

¿Cómo definir el efecto mínimo detectable?

El efecto mínimo detectable (MDE) es crucial para determinar la diferencia mínima en el rendimiento que quieres confirmar como significativa y no fruto del azar. Aquí tienes cómo calcularlo:

• Tráfico semanal histórico: Usa el tráfico promedio reciente para calcular cuántas semanas tomarán en realizar la prueba con los parámetros deseados.
• Meta de conversión: Como el aumento en la tasa de adiciones al carrito. Debe ser realista y basado en el potencial comportamiento del usuario.

Por ejemplo, si al observar el histórico de tráfico se determina un MDE de 7.02% al correr la prueba por tres semanas, deberás asegurar que la adición al carrito aumente en al menos ese porcentaje para considerar que hay un efecto relevante. A seis semanas, ese MDE podría bajar a un 4.94%, un valor más alcanzable y realista basado en experiencias previas.

¿Es importante considerar el ciclo del negocio para definir la duración de la prueba?

¡Absolutamente! La consideración de los ciclos de negocio, como las semanas completas para pruebas en sitios web, es vital. Una semana es el mínimo recomendado para tener en cuenta las variaciones semanales en el comportamiento. Idealmente, las pruebas deben realizarse durante dos semanas si se espera observar un efecto con el MDE planificado.

Sin embargo, las pruebas no deberían extenderse por más de seis semanas, ya que efectos externos podrían contaminar los datos y complicar el análisis. Así que planifica cuidadosamente: un mínimo de una semana, idealmente dos, y un máximo de seis semanas para la mayoría de los experimentos.

¿Cómo ajustar estos parámetros en otros canales, como email marketing?

En el caso de experimentar en otros canales, como email marketing, las consideraciones cambian:

• Duración: Ocurre en un corto período; es común que toda la prueba se realice en una única semana.
• MDE diferente: La diferencia cuantiosa necesaria para observar un efecto, como un 30%, indica la magnitud requerida del cambio para ser detectado.

Para email marketing, si estás probando algo dentro del cuerpo del correo, tu número inicial de tráfico serían aquellos que abrieron el correo y las conversiones las respuestas a un llamado a la acción.

Aplicando estos principios, podrás ajustar y planificar experimentos consecuentes y valiosos. Utiliza estos conocimientos para preparar tus propias pruebas, y recuerda compartir y debatir tus hallazgos en comunidades para enriquecer tu entendimiento y mejorar tus estrategias. ¡Sigue aprendiendo y mejorando tus habilidades en el ámbito de pruebas A/B!