Evaluar un modelo de machine learning es lo que separa una predicción confiable de una simple corazonada. Aquí aprendes cómo medir la calidad de un modelo de regresión usando MSE, RMSE, MAE y R², con un caso práctico aplicado al equipo Cebollitas FC para predecir diferencia de goles.

Si entrenas modelos y necesitas saber si realmente funcionan antes de tomar decisiones, este recorrido por las métricas clave te va a servir.

¿Por qué evaluar un modelo es tan importante como entrenarlo?

Entrenar sin evaluar es como mandar a un jugador a la cancha sin revisar después su desempeño. No basta con que el modelo prediga: necesitas saber cuántos errores comete, qué tan grandes son y cuánta información captura realmente [01:30].

En el caso del Cebollitas FC, el entrenador no quiere predicciones bonitas. Quiere saber si puede confiar en ellas para decidir alineaciones, tácticas o fichajes. Y ahí es donde entran las métricas.

¿Qué significa evaluar un modelo de machine learning? Es medir qué tan cerca están sus predicciones de los valores reales, usando métricas numéricas que revelan errores promedio, errores extremos y capacidad explicativa.

¿Qué métricas se usan para evaluar un modelo de regresión?

Cada métrica responde una pregunta distinta sobre el desempeño del modelo. Usarlas en conjunto te da un diagnóstico completo.

Cómo interpretar MSE, RMSE, MAE y R²

• MSE (error cuadrático medio): promedia los errores elevados al cuadrado. Penaliza con fuerza los desvíos grandes, así que es ideal para detectar predicciones muy alejadas de la realidad. Su valor no se lee en la misma escala que la variable original [02:10].
• RMSE (raíz del error cuadrático medio): es la raíz cuadrada del MSE, lo que devuelve el error a la escala original. Si predices goles, RMSE te dice cuántos goles de error tienes en promedio. Es la métrica que mejor comunicas a entrenadores y directivos [02:35].
• MAE (error absoluto medio): promedia la magnitud de los errores sin amplificar los extremos. Es robusto frente a outliers y te indica directamente por cuántos goles te equivocas en promedio [03:00].
• R² (coeficiente de determinación): mide qué proporción de la variabilidad total explica el modelo. Un valor cercano a 1 significa que captura bien las tendencias. Un valor bajo, o incluso negativo, indica que se le escapan los patrones [03:25].

Por qué conviene combinar varias métricas

MSE y RMSE detectan grandes fallos. MAE describe el error típico. R² te dice cuánta señal real estás capturando. Juntas, te muestran fortalezas y debilidades sin que una métrica sola te engañe.

Cómo calcular las métricas en Python paso a paso

El flujo en el notebook tiene tres bloques: preparar datos y entrenar, calcular métricas, y visualizar errores.

Preparación de datos y entrenamiento del modelo

Primero se importa pandas, se carga el dataset y se crea la variable diferencia de goles restando goles de visitante a goles de local. En X van porcentaje de posesión local y tiros al arco local; en y, la diferencia de goles [04:30].

Luego se aplica train_test_split con un 20% para prueba y un random_state fijo para reproducibilidad, y se entrena una regresión lineal con fit para después predecir.

python from sklearn.model_selection import train_test_split from sklearn.linear_model import LinearRegression

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) modelo_RL = LinearRegression() modelo_RL.fit(X_train, y_train) predicciones = modelo_RL.predict(X_test)

Cálculo de las métricas con scikit learn

De sklearn.metrics se importan mean_squared_error, mean_absolute_error y r2_score. Para el RMSE se usa np.sqrt sobre el MSE.

python from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score import numpy as np

mse = mean_squared_error(y_test, predicciones) rmse = np.sqrt(mse) mae = mean_absolute_error(y_test, predicciones) r2 = r2_score(y_test, predicciones)

Los resultados del Cebollitas fueron reveladores: MSE de 4.96, RMSE de 2.23, MAE de 1.89 y R² de -0.03 [05:50].

Visualización de residuos con histograma

Los residuos son los errores individuales de cada predicción, con signo y magnitud. Un histograma centrado en cero y con forma de campana indica que el modelo no tiene sesgos sistemáticos, es decir, no sobreestima ni subestima de forma constante [06:30].

¿Qué significa un R² negativo y un MAE alto?

Los números del Cebollitas cuentan una historia incómoda pero útil. El MAE de 1.89 significa que, en promedio, el modelo falla por casi dos goles en cada predicción. Y el R² de -0.03 indica que el modelo no explica nada de la variabilidad de los datos: predecir simplemente el promedio funcionaría mejor.

¿Un R² negativo es posible? Sí. Significa que tu modelo predice peor que usar el promedio de la variable objetivo. Es señal de que algo falla: variables mal elegidas, datos insuficientes o un modelo inadecuado.

Esto no es un fracaso, es información. Te dice que necesitas revisar las variables de entrada, ampliar el dataset o probar otro tipo de modelo.

Cómo definir un umbral de aceptación con widgets en Jupyter

En el cuarto bloque se usa la librería ipywidgets para crear un slider interactivo. La función evaluar_predicciones compara el MAE real contra un umbral que el director técnico define en tiempo real, clasificando si la calidad es aceptable o no [08:15].

Esto convierte una métrica abstracta en una herramienta de decisión: el club puede mover el umbral según sus expectativas y ver al instante si el modelo cumple.

¿Tu modelo pasaría el umbral que pondría tu equipo? Cuéntame en los comentarios qué métrica usas más seguido y por qué.