Cómo evaluar modelos de machine learning

Resumen

El machine learning suena técnico, pero en el fondo se trata de modelos que aprenden de los datos para ayudarte a tomar mejores decisiones. Aquí no vas a programar, vas a entender el ciclo de vida de un proyecto, cómo se evalúan los resultados y cuándo realmente sirve para el negocio.

¿Qué es machine learning y por qué importa en los negocios?

Es un enfoque dentro de la inteligencia artificial donde, en lugar de darle instrucciones a una computadora, le das datos y ella aprende patrones por su cuenta.

Imagina que le entregas información de tus clientes actuales: edad, uso, historial de compras. El modelo aprende a predecir quién tiene más probabilidad de abandonar el servicio. Lo mismo aplica para recomendaciones, detección de fraude o precios dinámicos. Si tienes suficiente información y una relación entre variables, se puede entrenar un modelo que prediga o clasifique.

¿Qué es machine learning en términos simples? Es una rama de la inteligencia artificial donde un modelo aprende de datos históricos para predecir o clasificar resultados nuevos, sin que tú le programes reglas explícitas.

¿Cuáles son los tipos de machine learning que debes conocer?

No todos los modelos aprenden igual. Hay tres grandes familias y cada una resuelve un problema distinto.

Aprendizaje supervisado, no supervisado y por refuerzo

  • Aprendizaje supervisado: aprende con datos donde ya conoces la respuesta. Sabes quién se fue y quién se quedó, y el modelo aprende a diferenciar.
  • Aprendizaje no supervisado: trabaja sin etiquetas. Explora y agrupa. Útil cuando quieres segmentar clientes según comportamiento de compra sin categorías predefinidas.
  • Aprendizaje por refuerzo: un agente toma decisiones y aprende por prueba y error. Pensemos en robots que aprenden a caminar o sistemas que dominan videojuegos [02:00].

Cada tipo se conecta con un problema de negocio distinto. Si quieres detectar churn, vas con supervisado. Si quieres descubrir segmentos ocultos, no supervisado.

¿Cómo funciona un proyecto de machine learning paso a paso?

No es magia, es proceso. Y entenderlo te ayuda a conversar con tu equipo de datos sin perderte.

  1. Ingeniería de características o feature engineering: defines qué variables alimentan al modelo, como tipo de plan del cliente, ciudad o número de reclamos.
  2. Entrenamiento: el modelo aprende de los datos donde ya tienes la respuesta, por ejemplo si el cliente se fue o no.
  3. Validación: pruebas el modelo con datos distintos para ver si generaliza o si solo está memorizando.
  4. Despliegue: lo pones en producción para que prediga en tiempo real o en lotes [03:10].

Saltarte un paso te lleva a modelos que parecen brillantes en pruebas y fracasan en la realidad.

¿Cómo saber si un modelo de machine learning funciona bien?

Decir "el modelo acierta el 85% de las veces" no es suficiente. Cada métrica responde una pregunta distinta y se complementan entre sí.

Accuracy, precisión, recall y AUC explicados

  • Accuracy: de todas las predicciones, cuántas veces acertó.
  • Precisión: de lo que predijo como positivo, cuántos eran realmente positivos. Si dijo que un cliente se iba, ¿en verdad se fue?
  • Recall: de todos los casos positivos reales, cuántos logró detectar el modelo.
  • AUC o área bajo la curva: mide la capacidad del modelo de distinguir entre clases, ideal para clasificación binaria [04:05].

Elegir la métrica correcta depende del costo de equivocarse. No es lo mismo fallar al detectar un fraude que fallar al recomendar una película.

¿Qué es mejor, precisión o recall? Depende del problema. Usa recall cuando dejar pasar un caso positivo es caro, como en fraude o churn. Usa precisión cuando intervenir por error sale caro, como dar descuentos innecesarios.

¿Qué es el overfitting y por qué arruina tus decisiones?

El overfitting o sobreajuste ocurre cuando el modelo se aprende de memoria los datos del pasado sin entender el patrón general.

Funciona perfecto con datos viejos y falla con datos nuevos. ¿El resultado? Decisiones basadas en predicciones que no se cumplen. Y eso se nota un montón: promociones mal asignadas, campañas que no retienen y recursos desperdiciados [04:50].

Un modelo sobreajustado es como ese estudiante que memorizó las respuestas del examen pasado y se congela cuando cambian las preguntas.

¿Cómo evaluar un modelo de predicción de churn en tu negocio?

Imagina que estás perdiendo clientes. Tu equipo de ciencia de datos entrena un modelo con datos históricos y te dice: este modelo predice qué clientes tienen alta probabilidad de abandonar el servicio. Tu trabajo es evaluar si sirve.

Para eso, responde:

  • ¿El modelo es supervisado o no supervisado?.
  • ¿Qué métrica priorizas: accuracy, precisión o recall?.
  • ¿Qué decisión tomarías con los clientes que el modelo detectó?.

Recuerda que el recall responde cuántos de los que se iban realmente lograste detectar. Y la precisión te dice si vale la pena intervenir o si estás gastando recursos en clientes que no se iban a ir [05:30].

Este ejercicio no te entrena para construir modelos, te entrena para usarlos con criterio de negocio y no dejarte llevar solo por los números. Déjame tu respuesta en los comentarios.