En Platzi cada semana estamos corriendo diferentes experimentos en la plataforma, sistemas de comunicación y procesos internos y externos que apoyan la interacción que se tiene con el producto. Todo esto con el fin de mejorar la experiencia de nuestros estudiantes.
Los experimentos son una herramienta fundamental en cualquier equipo de producto, especialmente para nosotros, los Product Managers, porque nos ayuda crear un equilibrio entre nuestros imaginarios; sobre las necesidades del usuario y lo que realmente ellos sienten o piensan. Al conocer los comportamientos de los usuarios, podemos tomar decisiones informadas que generen un gran impacto.
Pero, ¿Cuál es la mejor manera de correr un experimento? ¿Qué tipos de experimentos existen y cuál debería usar? ¿Cuáles son los principales errores que puedo cometer al generar un experimento?
En esta serie de artículos resolveremos estas y otras preguntas sobre el proceso de generar y validar un experimento. Empecemos por una de las cuestiones más importantes: ¿deberías correr un experimento para solucionar cualquier problema?
En la industria se ha vuelto muy famosa la teoría de que deberías correr experimentos para cada ajuste que quieras hacer en la experiencia de usuario. Es algo recurrente en compañías como Facebook o Uber, quienes llevan a cabo cientos de pruebas simultáneas para medir el impacto de una solución antes de lanzarlas al público en general.
Sin embargo, por más popular que parezca, no deberías correr experimentos para todas las soluciones que quieras implementar. En cambio, una vez hayas identificado un problema u oportunidad relevante que merezca tu atención y que crees que tendrá un gran impacto en tus usuarios, sigue estas recomendaciones para validar si deberías generar una solución a modo de experimento.
En el mercado existen muchos software, como Google Analytics y Optimize, que te pueden ayudar a definir qué versión del experimento le debes mostrar a cada usuario y a garantizar que esta elección no va a tener ningún bias y será totalmente aleatoria.
Si no cuentas con estas herramientas y tu equipo no tiene el conocimiento necesario para hacer un desarrollo como este, te recomiendo que busques la manera de conseguirlas y aprender a manejarlas, porque debes garantizar que cuentas con un sistema de medición confiable que te ayudará a confirmar los resultados de tu experimento
No tener una cantidad importante de usuarios hará que tu experimento se deba correr mucho tiempo, por lo que no podrás obtener resultados rápidos.
Esto quiere decir que si cuentas únicamente con 50 usuarios y necesitas respuestas rápidas, es muy probable que no llegues a resultados estadísticamente significativos, por lo que perderás tu tiempo al correr un experimento.
Si quieres trabajar en una solución que te llevará meses desarrollar, probablemente no valga la pena hacer un experimento. Con los experimentos buscamos precisamente probar si una solución nos ayudará a obtener los resultados que deseamos o no, por lo que si inviertes mucho tiempo desarrollando dicha solución y encuentras que el impacto es nulo o negativo, habrás desaprovechado tiempo de desarrollo que hubieras podido emplear en otras soluciones más relevantes.
Una vez hayas validado todas estas opciones y estés seguro de que el problema que quieres solucionar puede adaptarse para un experimento, ten en cuenta los siguientes puntos:
Para que un experimento sea fructífero debe ser enfocado y debes crear una hipótesis clara sobre qué variable X va a afectar la métrica Y, por lo que si usas muchas variables o diferentes comportamientos a impactar, no vas a lograr aislar los resultados y saber si el cambio que estás haciendo es productivo.
Si bien la solución que quieres probar puede afectar varias áreas y métricas intermedias, al momento de analizar los resultados debes priorizar una métrica principal. Al momento de hacerlo ten en cuenta lo siguiente.
En futuros artículos te hablaré en detalle de los métodos más conocidos, pero en general son:
Al elegir la manera en la que vas a correr tu experimento podrás planear mejor los resultados que vas a obtener y el tiempo que vas a necesitar para llegar a ellos.
Si seleccionas correr un experimento para probar la solución a un problema que realmente no es relevante para tu organización, terminarás malgastado tiempo y dinero en resultados poco significativos, incluso si estos resultados son positivos.
Cada experimento tiene un costo, y tú debes garantizar que ese costo sea el mínimo posible, pero una de las formas más rápidas de aumentar el costo de tu experimento es corriéndolo sobre algo que realmente no va a tener un impacto en los objetivos de tu empresa.
Los experimentos son una excelente herramienta para encontrar resultados rápidos, pero si no se evalúan, ejecutan y miden adecuadamente pueden terminar siendo perjudiciales, pues te darán una falsa sensación de seguridad. En próximos artículos te explicaré sobre los errores más comunes que se comenten al momento de hacer experimentos.
De igual forma, en los siguientes artículos hablaremos sobre los tipos de experimentos, en qué casos emplear cada uno, cómo planearlos, ejecutarlos y medirlos. Cuéntanos en los comentarios si esta información ha sido de utilidad y si has tenido experiencia ejecutando experimentos en el pasado.
Haber sido parte de cada uno de los experimentos tanto de la App como en el feed, me da a entender que siempre están escuchado a los usuarios de la plataforma. Muchas gracias por el mejoramiento continuo e infinito!!!
Así es David, en Platzi estamos corriendo experimentos constantemente, me alegra que hayas caido en varios de ellos porque así eres parte del cambio. En próximas entregas les contaré más detalles de cómo planeamos, ejecutamos y medimos los experimentos que frecuentemente hacemos. Nunca Pares de Aprender!