Recomendaciones para garantizar la confiabilidad de tu prueba

### Riesgos de Experimentación: 1. **Instrumentación:** * **Descripción:** La implementación incorrecta de la instrumentación puede conducir a recopilar datos inexactos o incompletos. * **Mitigación:** Verificar y validar la instrumentación antes de la ejecución del experimento. Realizar pruebas de carga para asegurar la funcionalidad adecuada de la instrumentación. 2. **Confiabilidad:** * **Descripción:** La falta de confiabilidad en los datos puede afectar la interpretación precisa de los resultados. * **Mitigación:** Utilizar redundancia en la instrumentación, verificar la coherencia de los datos entre diferentes fuentes y realizar auditorías periódicas. 3. **Temporalidad:** * **Descripción:** Cambios en el comportamiento del usuario debido a factores temporales externos pueden afectar los resultados del experimento. * **Mitigación:** Considerar la temporalidad en el diseño experimental y, si es posible, ejecutar experimentos en diferentes períodos para evaluar la consistencia de los resultados. ### Mecanismos para Mitigar Riesgos: 1. **Métricas de Seguridad:** * **Descripción:** Medir métricas adicionales, como el número de devoluciones o quejas, para detectar posibles problemas no capturados por las métricas principales. * **Función:** Proporciona una capa adicional de seguridad al monitorear indicadores relacionados con la experiencia del usuario y la satisfacción. 2. **Detectores de SRM (Sample Ratio Mismatch):** * **Descripción:** Identifica desequilibrios en la distribución del tráfico entre las variantes del experimento. * **Función:** Alerta sobre posibles problemas de asignación de tráfico, garantizando una distribución adecuada entre el grupo de control y el grupo de tratamiento. ### Prueba A/A Test: * **Descripción:** Consiste en aplicar la misma configuración de experimento (A/B) pero sin realizar cambios, lo que debería resultar en ninguna significancia estadística. * **Objetivo:** Verificar la estabilidad y validez del proceso de experimentación, asegurándose de que no haya resultados significativos cuando no se han introducido cambios. ### Consideraciones: * La mitigación de riesgos en la experimentación es esencial para obtener resultados confiables y significativos. * Combinar múltiples métricas y mecanismos de detección fortalece la robustez del proceso experimental. * La prueba A/A es una herramienta valiosa para evaluar la consistencia del sistema y la aleatorización en ausencia de cambios sustanciales.

Riesgo de experimentación:
-Instrumentación
-Confiabilidad.
-Temporalidad.

Mecánismos para mitigar los riesgos:
-Métricas de seguridad: Medir el número de devoluciones o de quejas.
-Detectores de SRM (Sample ratio mismatch): Es un detector que se da, cuando el tráfico no está correctamente distribuido.

• Prueba A/A test: Generamos la misma configuración que en la prueba A/B, pero no realizamos ningún tipo de modificación, por lo tanto no debería haber significancia estadística.

\> \_\*\*“ Entre más llamativos sean los datos observados más probable es que se deban a un error. ”\*\*\_` `>>Ley de Toyman