Preregistro: cómo evitar sesgos en experimentos

Curso de Experimentación Digital para Empresas

Contenido del curso

Culturas de experimentación

Define tu hoja de ruta

Gestionar equipos y comunicación

Medir y escalar tu programa

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:007:48

Preregistro: cómo evitar sesgos en experimentos

Curso de Experimentación Digital para Empresas

Clase 6 de 12

Clase 6 / 12

Comentarios (6)6 comentarios

Donny Daniel Vásquez Ramos

Hace 3 años

En varios vídeos han mencionado los recursos, links, etc. Pero en ninguna clase he visto los recursos que iban a dejar.

Esto está super bueno, y esos recursos ya hacen falta. Frustra.

Carlos Trujillo

Profesor

Hace 3 años

Donny: esto es un error temporal en la nueva versión de Platzi. Hasta que los recursos vuelven a estar visibles puedes descargar el framework de la matriz de decisiones desde este enlace. ¡Saludos!

Juan Carlos Quishpe

Hace 3 años

++06 ¿Cómo fijar expectativas comunes y mantener la objetividad?++

Toma de Decisiones en Experimentación

En la experimentación, es importante determinar cuándo soltar una hipótesis.
La obsesión con la ejecución debe evitarse a favor de centrarse en el proceso.
Mantener experimentos constantes puede proporcionar valiosos aprendizajes.
Un framework puede ayudar a decidir cuándo abandonar una hipótesis.

Equipo de Experimentación

Evitar conflictos de interés es fundamental en equipos de experimentación.
Cherry picking metrics y mostrar solo resultados convenientes deben evitarse.
Establecer reglas de juego antes de la prueba mejora la objetividad.

Previniendo Sesgos

Contar tanto los éxitos como los fracasos puede ayudar a evitar sesgos.
El preregistro y la comunicación clara de planes posteriores a la prueba son efectivos.
La psicología y habilidades blandas son esenciales para una comunicación efectiva.
Lenguaje alternativo puede ser útil para presentar resultados negativos.

Conclusiones

La experimentación exitosa requiere un equilibrio entre resultados y aprendizajes.
Los datos deben manejarse con integridad y no modificarse para encajar narrativas.
Mantener criterios de análisis sólidos y objetividad es crucial en experimentación.

MARIA TERESA PANIAGUA RIVERA

Hace 3 años

Gracias

Donny Daniel Vásquez Ramos

Hace 3 años

¿Dónde están los recursos?

Carlos Trujillo

Profesor

Hace 3 años

Donny: esto es un error temporal en la nueva versión de Platzi. Hasta que los recursos vuelven a estar visibles puedes descargar el framework de la matriz de decisiones desde este enlace. ¡Saludos!

Matías Felipe Grimaldi Gómez

Hace 3 años

Fijar expectativas comunes y mantener la objetividad en el contexto de pruebas A/B es esencial para obtener resultados fiables y tomar decisiones informadas. Evitar la selección sesgada de métricas, conocida como "cherry picking metrics" o elegir selectivamente métricas que respaldan una narrativa específica, es fundamental. Aquí hay algunas prácticas recomendadas para fijar expectativas comunes y mantener la objetividad en el proceso de A/B testing:

1. Definir Objetivos Claros:

Antes de comenzar la prueba, asegúrate de tener objetivos claramente definidos. Estos objetivos deben ser específicos, medibles y alineados con los resultados comerciales que estás buscando.

2. Seleccionar Métricas Principales:

Identifica las métricas clave que son relevantes para tus objetivos. Estas métricas deben reflejar directamente el impacto en el éxito del experimento y ser consistentes con los objetivos comerciales.

3. Establecer Hipótesis Previa:

Formula hipótesis claras antes de comenzar la prueba. Estas hipótesis deben estar basadas en una comprensión sólida de tus usuarios y del problema que estás tratando de resolver.

4. Evitar Métricas Aisladas:

Evita depender en exceso de una única métrica para tomar decisiones. Considera un conjunto de métricas que ofrezcan una visión completa de los resultados.

5. Segmentación de Datos:

Realiza análisis de segmentación para comprender cómo diferentes grupos de usuarios pueden responder de manera diferente. Esto puede revelar patrones que podrían no ser evidentes al observar los datos de manera agregada.

6. Periodo de Observación Suficiente:

Asegúrate de observar los resultados a lo largo del tiempo suficiente para capturar variaciones naturales y asegurar que los efectos observados sean consistentes.

7. Revisión en Profundidad:

Al analizar los resultados, realiza una revisión en profundidad de todas las métricas relevantes. No te centres exclusivamente en las métricas que respaldan una narrativa específica.

8. Involucrar a Diversos Stakeholders:

Involucra a personas de diferentes áreas (marketing, desarrollo, diseño, etc.) en la interpretación de resultados. Esto puede ayudar a mitigar sesgos y ofrecer perspectivas variadas.

9. Comunicar Resultados de Manera Transparente:

Comunica los resultados de manera clara y transparente, resaltando tanto los aspectos positivos como los negativos. Esto ayuda a mantener la confianza y la objetividad en el proceso.

10. Revisión Posterior:

Realiza revisiones posteriores a las pruebas para evaluar el impacto real de los cambios implementados en métricas comerciales a largo plazo.

Al seguir estas prácticas, puedes establecer un entorno donde las expectativas sean claras, se evite el sesgo en la interpretación de métricas y se fomente la toma de decisiones objetiva basada en datos sólidos.

Juan Carlos Quishpe

Hace 3 años

“Cherry picking metrics” se refiere a la práctica de seleccionar selectivamente métricas o datos que respalden una narrativa o conclusión particular mientras se omite o ignora información que no se ajuste a esa narrativa.

Consiste en elegir deliberadamente ciertas métricas o datos para presentar una imagen positiva o conveniente de los resultados de un experimento o estudio

Esta práctica puede conducir a sesgos y a una comprensión incompleta o distorsionada de la realidad. En el contexto de la experimentación, se enfatiza la importancia de evitar el cherry picking metrics para mantener la objetividad y la transparencia en la comunicación de resultados.

Recursos

Decidir cuándo abandonar un experimento es una de las preguntas más difíciles en cualquier estrategia de growth. Si tienes mil hipótesis corriendo al tiempo, necesitas criterios claros para soltar las que no funcionan y proteger la objetividad del proceso, sobre todo cuando tu propio equipo es juez y parte.

¿Cuándo conviene soltar un experimento de growth?

La señal más clara llega cuando varias iteraciones refuerzan el mismo veredicto. Si ya corriste tres experimentos sobre la misma hipótesis y los tres la rechazan, es momento de probar algo distinto.

¿Cuándo debo abandonar una hipótesis de experimentación? Cuando acumulas evidencia repetida de que la hipótesis no mueve la métrica principal. Tres experimentos rechazados sobre la misma idea suelen ser suficientes para pivotar.

El problema es que ese criterio rara vez es fácil de aplicar desde adentro. Si tú lideraste el área, defendiste la idea en comité y le tenías toda la fe, vas a resistirte a soltarla. Por eso aparece la figura del estratega de experimentación como árbitro: alguien que no está enamorado de la ejecución y puede decir con tranquilidad que ya no vale la pena seguir iterando [05:12].

¿Por qué es un conflicto de interés analizar tus propios experimentos?

Cuando el mismo equipo de growth o CRO lanza, ejecuta y analiza la prueba, se convierte en juez y parte. Ahí aparece el cherry picking metrics, que es escoger con pinzas solo las métricas que confirman lo que querías ver desde el principio.

Es un sesgo humano, no una falla moral. Por eso la solución no es exigir más fuerza de voluntad, sino diseñar reglas de juego antes de lanzar la prueba.

¿Qué es el preregistro en experimentación?

El preregistro consiste en dejar por escrito, antes de correr el experimento, qué vas a hacer con cada resultado posible. Funciona como un contrato interno entre las partes involucradas.

Una matriz de decisiones típica luce así:

Si la métrica principal y las dos secundarias crecen, implementamos el tratamiento.
Si la métrica principal es plana pero hay señales positivas, iteramos sobre la hipótesis.
Si la métrica principal y las secundarias decrecen, abandonamos la hipótesis.

Cuando estas reglas están comunicadas abiertamente, el resultado se siente natural. No hay drama si la hipótesis se rechaza, porque ya estaba contemplado como una salida válida.

¿Qué es el preregistro de un experimento? Es definir y comunicar, antes de lanzar la prueba, qué decisión tomarás ante cada resultado posible. Evita que cambies las reglas sobre la marcha para forzar una conclusión favorable.

¿Cómo evitar sesgos al analizar pruebas A/B?

La respuesta corta: trae a alguien que no esté enamorado de la ejecución. Un equipo experto en experimentación actúa como barrera técnica y emocional. Puede detectar problemas de validez como el sample ratio mismatch, errores de instrumentación o muestras insuficientes, y sugerir relanzar la prueba antes de sacar conclusiones [07:48].

Si todavía no tienes ese perfil dedicado, que es la realidad de muchas pequeñas y medianas empresas, el preregistro sigue siendo tu mejor defensa. También ayuda mantener criterios de análisis fuertes y resistir la tentación de subdividir los datos hasta encontrar un ganador artificial.

La anécdota clásica: el experimento perdió, pero fue ganador en dispositivos móviles en Indonesia a las 3:00 a.m. A nadie le importa. Ese tipo de hallazgo casi siempre es ruido estadístico, no una señal real.

¿Cómo comunicar un experimento fallido sin que parezca un fracaso?

Aquí entra la dimensión más blanda del trabajo. Como estrategas de experimentación, somos medio psicólogos: ayudamos a que el equipo y los líderes interpreten los resultados desde el aprendizaje, no desde la derrota.

Un truco concreto del lenguaje: en vez de llamarle loss o pérdida a un tratamiento que mostró decrecimiento estadísticamente significativo, llámalo save. Te ahorraste implementar algo que iba a hacer daño.

Cuando se puede cuantificar, el efecto es todavía más claro. En comercio electrónico, no implementar un mal tratamiento puede representar un ahorro estimado de $120.000 mensuales para la empresa. Como líder, ya no ves un experimento fallido sino un riesgo mitigado.

Reformula loss como save cuando un tratamiento decrece la métrica.
Cuantifica el ahorro mensual evitado siempre que tengas datos para hacerlo.
Comunica el resultado junto con la decisión predefinida en el preregistro.

Esto no es manipular los datos. Los datos son los datos. Lo que cambia es el marco con el que el equipo y los stakeholders los reciben, y ese marco define si tu cultura de experimentación sobrevive al primer trimestre difícil.

¿Cómo manejas tú las pruebas que no salen como esperabas? Cuéntame en los comentarios qué reglas de juego usas antes de lanzar un experimento.

Resumen

¿Cuándo conviene soltar un experimento de growth?

¿Cuándo debo abandonar una hipótesis de experimentación? Cuando acumulas evidencia repetida de que la hipótesis no mueve la métrica principal. Tres experimentos rechazados sobre la misma idea suelen ser suficientes para pivotar.

¿Por qué es un conflicto de interés analizar tus propios experimentos?

Es un sesgo humano, no una falla moral. Por eso la solución no es exigir más fuerza de voluntad, sino diseñar reglas de juego antes de lanzar la prueba.

¿Qué es el preregistro en experimentación?

El preregistro consiste en dejar por escrito, antes de correr el experimento, qué vas a hacer con cada resultado posible. Funciona como un contrato interno entre las partes involucradas.

Una matriz de decisiones típica luce así:

Si la métrica principal y las dos secundarias crecen, implementamos el tratamiento.
Si la métrica principal es plana pero hay señales positivas, iteramos sobre la hipótesis.
Si la métrica principal y las secundarias decrecen, abandonamos la hipótesis.

Cuando estas reglas están comunicadas abiertamente, el resultado se siente natural. No hay drama si la hipótesis se rechaza, porque ya estaba contemplado como una salida válida.

¿Qué es el preregistro de un experimento? Es definir y comunicar, antes de lanzar la prueba, qué decisión tomarás ante cada resultado posible. Evita que cambies las reglas sobre la marcha para forzar una conclusión favorable.

¿Cómo evitar sesgos al analizar pruebas A/B?

¿Cómo comunicar un experimento fallido sin que parezca un fracaso?

Reformula loss como save cuando un tratamiento decrece la métrica.
Cuantifica el ahorro mensual evitado siempre que tengas datos para hacerlo.
Comunica el resultado junto con la decisión predefinida en el preregistro.

¿Cómo manejas tú las pruebas que no salen como esperabas? Cuéntame en los comentarios qué reglas de juego usas antes de lanzar un experimento.

Culturas de experimentación

Por qué un A/B test mal diseñado invalida resultados

Cómo empezar con A/B tests sin presupuesto

Cómo crear una cultura de experimentación

Define tu hoja de ruta

Errores comunes en experimentación sistemática

Cómo priorizar experimentos con PXL y flexibilidad

Gestionar equipos y comunicación

Preregistro: cómo evitar sesgos en experimentos

Cómo comunicar experimentos que la organización quiera escuchar

Causalidade vs correlação em growth e produto

Medir y escalar tu programa

Presupuestar equipos de experimentación digital

Cómo medir si tu programa de experimentación funciona

Oportunidades de carrera en experimentación

Estrategias de Experimentación para Crecimiento Empresarial

Preregistro: cómo evitar sesgos en experimentos

Progreso del curso

Culturas de experimentación

Define tu hoja de ruta

Gestionar equipos y comunicación

Medir y escalar tu programa

Recursos

Recursos