Cómo funciona un A/B test correctamente

Curso de CRO (Optimización de Conversiones)

Contenido del curso

Fundamentos de experimentación y CRO

Identifica oportunidades de mejora

Genera ideas de optimización

Comprueba tus hipótesis

Capitaliza tus descubrimientos

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:004:28

Cómo funciona un A/B test correctamente

Curso de CRO (Optimización de Conversiones)

Clase 11 de 16

Clase 11 / 16

Recursos

Validar hipótesis de optimización con usuarios reales requiere un método riguroso, y el A/B testing es la técnica más precisa para hacerlo. Si trabajas en producto, marketing digital o e-commerce, dominar las pruebas A/B te permite tomar decisiones basadas en causalidad y no en intuiciones.

Qué es el A/B testing y por qué es el estándar de oro

El A/B testing es considerado el estándar de oro en la ciencia para medir causalidad. Aunque hoy lo asocies con lo digital, lleva siglos usándose en medicina y ciencia para tomar decisiones con evidencia.

La lógica es simple. Tomas una población de usuarios y la divides en al menos dos grupos iguales. Al primer grupo, llamado control, le muestras el sistema existente. Al segundo grupo le muestras el sistema con un tratamiento o adición. Luego comparas resultados.

¿Qué es una prueba A/B? Es un experimento donde divides usuarios en grupos aleatorios y les muestras versiones distintas de una experiencia al mismo tiempo, para medir cuál genera mejor resultado.

Cómo se divide correctamente la muestra de usuarios

La división de usuarios tiene dos reglas que no puedes ignorar si quieres que tu prueba sea válida.

La asignación debe ser completamente aleatoria. No vale decir que el 50% serán móviles y el 50% escritorio, ni separar por fuente de tráfico como Google o Facebook. Eso rompe la fidelidad del experimento.
Las dos versiones deben ejecutarse en un periodo simultáneo de tiempo. No es válido comparar usuarios que vieron una versión en agosto contra otros que la vieron en septiembre.
Cada grupo debe experimentar una sola versión durante toda la prueba.

Cuando respetas estas condiciones, los resultados reflejan el efecto real del cambio y no variables externas como estacionalidad o tipo de dispositivo.

Una hipótesis puede incluir varios cambios a la vez

Un mito común dice que solo debes hacer un cambio por A/B test. En la práctica, eso casi no se ve.

La regla real es que un A/B test debe estar limitado a una hipótesis, no a un único cambio. Si tu hipótesis requiere tres, cuatro o cinco modificaciones que la soportan, hazlas todas. Lo importante es que esos cambios apunten a la misma idea que quieres validar.

Y aquí viene algo útil: entre más radical sea tu tratamiento, más probabilidades tienes de detectar un efecto si ese efecto existe. Por eso conviene combinar audacia con criterios de priorización.

¿Cuántos cambios puedo incluir en un A/B test? Tantos como necesites, siempre que todos respondan a la misma hipótesis. Lo que se limita es la hipótesis, no el número de cambios.

Cómo se ve un A/B test en un caso real de e-commerce

Tomemos el ejemplo del sitio de e-commerce Focus Booth. El flujo actual funciona así: el usuario entra a la página de inicio, añade el producto al carrito, es redirigido a la página de carrito y de ahí pasa al checkout.

La investigación de usuario sugirió una hipótesis clara: la página de carrito podría ser innecesaria. La variación del experimento consiste en eliminar esa página y llevar al usuario directamente desde la página de inicio al checkout cuando añade el producto.

Este tipo de tratamiento es lo suficientemente radical como para producir un efecto medible, lo que aumenta la calidad de la información que vas a obtener al cerrar la prueba.

Qué herramientas puedes usar para correr pruebas A/B

El mercado ofrece varias soluciones según el canal donde quieras experimentar.

Para sitios web y apps móviles: Convert, VWO, Adobe Target, Optimizely y GrowthBook, esta última de código abierto.
Para anuncios: Meta permite pruebas A/B nativas en su plataforma publicitaria.
Para email marketing: Mailchimp y otras soluciones similares incluyen funcionalidad de pruebas.
Para chat o chatbots: Intercom y herramientas equivalentes permiten experimentar con mensajes y flujos.

Por qué el rigor en la prueba determina la calidad de la decisión

Cuando ejecutas un A/B test con el rigor adecuado, puedes determinar con alto grado de precisión si tu hipótesis de mejora realmente beneficia al negocio. Sin ese rigor, los resultados se vuelven anecdóticos y las decisiones quedan a merced de sesgos.

La diferencia entre crecer de forma sostenida y estancarse muchas veces está en esto: validar antes de escalar.

¿Qué hipótesis tienes lista para poner a prueba en tu producto? Cuéntame en los comentarios.

Daniel F. Feria B

Hace 3 años

Personalmente, no estoy completamente de acuerdo con la afirmación de que "se pueden realizar varios cambios en una prueba A/B". Desde mi perspectiva, esto podría dificultar la identificación del cambio específico que generó el impacto o el cambio de comportamiento. Creo que la simplicidad en las pruebas A/B puede llevar a conclusiones más claras y acciones más efectivas.

Carlos Trujillo

Profesor

Hace 3 años

Daniel: es natural que no estés de acuerdo ya que esta es una recomendación netamente estratégica desde una perspectiva de negocio. Si abordamos este tema desde una perspectiva científica y de determinación de causalidad, por supuesto es ideal aislar cada variable y validarla individualmente.

El problema es que esta mentalidad lleva a muchos negocios (especialmente aquellos que no cuentan con suficiente poder estadístico) a correr pruebas que resultan estadísticamente inconclusas. Es algo de lo que he sido testigo decenas (tal vez cientos) de veces.

Ojo: la recomendación de no tener miedo en introducir varios cambios se basa en el hecho de que estas soporten una única hipótesis. Nunca recomendaría tratar de validar varias hipótesis con un único experimento.

Te pongo un ejemplo (es el mismo que comparto en el Curso de A/B Testing): imagina que nuestra hipótesis involucra introducir un video en el sitio web. Este tratamiento tiene muchas variables: la elección del video, la duración, la ubicación, las preferencias de auto-reproducción, etc.

Desde una perspectiva científica, cada uno de estos elementos debería ser aislado y validarse individualmente, al igual que los efectos de interacción. Estaríamos hablando de +20 experimentos. Desde una perspectiva de negocio, simplemente podríamos querer saber si este video influencia el comportamiento del usuario para después priorizar otras hipótesis.

Es un ejemplo exagerado; pero el mensaje es que dependiendo de nuestras circunstancias y contexto de negocio debemos ser flexibles y estratégicos en este sentido si queremos generar valor y tomar decisiones rápidamente.

Déjame saber tus comentarios. ¡Saludos!

Fundamentos de experimentación y CRO

Optimización de Conversiones: Estrategias y Experimentación Sistemática

Optimización de Conversión: Estrategias y Métodos Científicos

Identifica oportunidades de mejora

Framework Research Excel para Optimización de Conversiones

Creación de Base de Datos de Conocimiento con Notion y Airtable

Mapas de calor y analítica para mejorar conversiones

Voz del cliente como fuente de hipótesis CRO

Evaluación heurística para detectar fallas de conversión

Genera ideas de optimización

Formulación de Hipótesis para Experimentos de Optimización

Sesgos cognitivos que mejoran tus hipótesis de CRO

Cómo el framework PXL ordena tus experimentos

Comprueba tus hipótesis

Cómo funciona un A/B test correctamente

Errores fatales que invalidan tu A/B test

Implementaciones controladas sin A/B test

Métodos de validación sin A/B testing

Capitaliza tus descubrimientos

Cómo hacer que CRO impacte al negocio

Validación de Ideas para Decisiones Acertadas

Cómo funciona un A/B test correctamente

Progreso del curso

Fundamentos de experimentación y CRO

Identifica oportunidades de mejora

Genera ideas de optimización

Comprueba tus hipótesis

Capitaliza tus descubrimientos

Recursos

Recursos