A/B testing en Android con Firebase

Curso de Android: Despliegue a Google Play Store

Contenido del curso

El release y su ciclo de vida

Estrategias de Release en fase de desarrollo

Pruebas y Validaciones

Preparación del Release

Ejecución del Release

13
Creación y gestión de pruebas cerradas en Google Play Console
04:34 min
14
Rollouts Escalonados en Google Play: Guía de Configuración y Monitoreo
00:45 min
15
Automatización de Despliegue de Aplicaciones con Fastlane y GitHub Actions
06:36 min

Post-Release

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:004:43

A/B testing en Android con Firebase

Curso de Android: Despliegue a Google Play Store

Clase 7 de 17

Clase 7 / 17

Recursos

¿Te has fijado que Netflix te muestra portadas distintas a las de tus amigos? Esa magia se llama A/B testing, una técnica que las grandes empresas usan para optimizar productos con datos reales de sus usuarios. Aquí aprenderás cómo replicar esa lógica en tu app Android usando Firebase Remote Config, sin construir una plataforma propia como hizo Netflix.

Qué es un A/B testing y en qué se diferencia de un Feature Flag

Un A/B testing divide a tus usuarios en dos grupos para mostrarles versiones distintas de una misma funcionalidad y medir cuál genera mejor resultado. A diferencia de un Dark Launch o un Feature Flag, que controlan visibilidad, el A/B testing está diseñado para comparar comportamientos y tomar decisiones basadas en métricas.

¿Qué es un A/B testing? Es un experimento donde divides usuarios en dos grupos, les muestras variantes distintas de una funcionalidad y mides cuál tiene mejor desempeño según una métrica como retención o conversión.

En Firebase puedes crear A/B tests de varios tipos: con Remote Config o con in-app messaging (notificaciones push dentro de la app). En este caso usaremos Remote Config porque te permite controlar parámetros directamente desde la consola sin desplegar una nueva versión.

Cómo configurar un experimento A/B en Firebase Remote Config

Desde la consola de Firebase, entra a la sección de experimentos y selecciona Remote Config como base. Ponle un nombre claro al experimento y una descripción que explique su propósito, por ejemplo: para optimizar recursos.

Luego define estos parámetros clave:

Aplicación objetivo: la app sobre la que harás el tracking.
Porcentaje de usuarios: usualmente 50% para tener muestras parejas, aunque depende de tu estrategia.
Evento de activación: cuándo se dispara el experimento, ya sea al abrir la app, al remover la aplicación o en la primera pantalla.
Objetivo de medición: la métrica que validará el éxito, como una retención de 15 días o más.

Después viene la parte central: definir las variantes. El grupo A recibe el parámetro en un valor (por ejemplo, true) y el grupo B lo recibe en otro (false). Revisas la configuración, creas el experimento como borrador y le das iniciar experimento para publicarlo. [3:00]

Cómo elegir el porcentaje y el evento de activación

El 50/50 es el reparto más común porque maximiza la potencia estadística del experimento. Pero si quieres mitigar riesgo, puedes empezar con un 10/90 e ir escalando. El evento de activación define el momento exacto en que un usuario entra al experimento, lo cual es crítico para no contaminar la muestra.

Cómo integrar el experimento A/B en código Android

Una vez publicado el experimento, toca conectarlo desde Android. La lógica es la misma que con Remote Config tradicional, pero ahora el valor que llega depende del grupo al que pertenece el usuario.

En el companion object declaras una variable con el mismo nombre exacto del parámetro definido en Firebase, en este ejemplo isAlertEmoji. Después creas otra variable que reciba el valor remoto cuando la app sincronice con Firebase. [4:10]

Dentro de la función que procesa los datos remotos, agregas una condición sobre el booleano que llega:

Si isAlertEmoji es true, la app muestra un título.
Si es false, muestra el título alternativo.

Con esto, la mitad de tus usuarios verá una versión del título y la otra mitad verá la opuesta, sin que tengas que publicar una nueva build.

¿Cómo conecto un experimento de Firebase con mi app Android? Declara una variable con el mismo nombre del parámetro de Remote Config en tu companion object, recibe el valor remoto y aplica una condición en la función que procesa los datos para mostrar la variante correspondiente.

Cómo evaluar los resultados de un experimento A/B

Cuando el experimento corre, Firebase recopila datos de ambos segmentos. Para saber si tu hipótesis funcionó, debes mirar la significancia estadística entre los dos grupos.

La regla práctica: si el valor P es menor a 0,05, la diferencia entre el grupo A y el grupo B es estadísticamente significativa, es decir, el cambio tuvo un impacto real. Si P es mayor, necesitas más datos o tienes que rediseñar el experimento.

¿Qué significa que P sea menor a 0,05? Significa que la diferencia observada entre los dos grupos no se debe al azar y que tu cambio realmente influye en la métrica que estás midiendo, como la retención.

Con estas tres estrategias trabajadas (Dark Launch, Feature Flags y A/B testing), tu fase de desarrollo controlado queda cerrada. El siguiente paso es montar pruebas exhaustivas sobre el proyecto antes de salir a producción. ¿Qué experimento te gustaría correr primero en tu app?

Resumen

Qué es un A/B testing y en qué se diferencia de un Feature Flag

¿Qué es un A/B testing? Es un experimento donde divides usuarios en dos grupos, les muestras variantes distintas de una funcionalidad y mides cuál tiene mejor desempeño según una métrica como retención o conversión.

Cómo configurar un experimento A/B en Firebase Remote Config

Luego define estos parámetros clave:

Aplicación objetivo: la app sobre la que harás el tracking.
Porcentaje de usuarios: usualmente 50% para tener muestras parejas, aunque depende de tu estrategia.
Evento de activación: cuándo se dispara el experimento, ya sea al abrir la app, al remover la aplicación o en la primera pantalla.
Objetivo de medición: la métrica que validará el éxito, como una retención de 15 días o más.

Cómo elegir el porcentaje y el evento de activación

Cómo integrar el experimento A/B en código Android

Una vez publicado el experimento, toca conectarlo desde Android. La lógica es la misma que con Remote Config tradicional, pero ahora el valor que llega depende del grupo al que pertenece el usuario.

Dentro de la función que procesa los datos remotos, agregas una condición sobre el booleano que llega:

Si isAlertEmoji es true, la app muestra un título.
Si es false, muestra el título alternativo.

Con esto, la mitad de tus usuarios verá una versión del título y la otra mitad verá la opuesta, sin que tengas que publicar una nueva build.

¿Cómo conecto un experimento de Firebase con mi app Android? Declara una variable con el mismo nombre del parámetro de Remote Config en tu companion object, recibe el valor remoto y aplica una condición en la función que procesa los datos para mostrar la variante correspondiente.

Cómo evaluar los resultados de un experimento A/B

Cuando el experimento corre, Firebase recopila datos de ambos segmentos. Para saber si tu hipótesis funcionó, debes mirar la significancia estadística entre los dos grupos.

¿Qué significa que P sea menor a 0,05? Significa que la diferencia observada entre los dos grupos no se debe al azar y que tu cambio realmente influye en la métrica que estás midiendo, como la retención.

El release y su ciclo de vida

Dark Launch y Feature Flags en apps móviles

Ciclo de vida de un release con Scrum y Jira

Gitflow vs Trunk Based en tu equipo

Estrategias de Release en fase de desarrollo

Configuración de Proyectos Firebase para Aplicaciones Android

Configuración de Dark Launches con Firebase Remote Config

Control de Funcionalidades con Feature Toggles y Remote Config

A/B testing en Android con Firebase

Pruebas y Validaciones

Pruebas Unitarias e Integración en Android Studio con Jetpack Compose

Validación de Seguridad y Limpieza de Código en Android Studio

Optimización y Compatibilidad de Apps Android con App Bundles

Preparación del Release

Configuración de Flavors en Android para Pruebas End to End

Creación y configuración de cuenta de desarrollador en Google Play

Ejecución del Release

Creación y gestión de pruebas cerradas en Google Play Console

Rollouts Escalonados en Google Play: Guía de Configuración y Monitoreo

Automatización de Despliegue de Aplicaciones con Fastlane y GitHub Actions

Post-Release

Mejora Continua en Desarrollo de Aplicaciones: Kaizen y OKR

Monitorea tu app con Crashlytics y Analytics

A/B testing en Android con Firebase

Progreso del curso

El release y su ciclo de vida

Estrategias de Release en fase de desarrollo

Pruebas y Validaciones

Preparación del Release

Ejecución del Release

Post-Release

Recursos

Recursos