Evaluando el modelo: R^2 y MSE

Clase 7 de 18 • Curso de Regresión Lineal con Python y scikit-learn

Sandy Paola Atencio Hernández

student•

Me pareció una explicación muy al punto y sencilla de entender, muchas veces al ver las formulas nos abrumamos pero si le damos sentido créanme que será muy fácil entenderlas.

Diego Jurado

student•

Asi es, el tema es irse enfrentando de a poco e ir interiorizando cada concepto

Julián Cárdenas

student•

A mi me parece que falto profundizar más

Dick Saide Suárez Blanco

student•

------>Evaluando el modelo: R^2 y MSE<--------

σ Entenderemos las dos metricas principales del curso, que tienen el fin de ver la manera en la que se ajusto el modelo hecho, en comparacion a los datos reales. Mas estas pueden ser usadas, para cualquier modelo de regresion. (O mas bien, intentando predecir valores numericos.) Estas metricas son: 1 . Mean Square Error (MSE) +Se usa para minimizar el costo dentro de tu funcion. OR / AND Se usa para evaluar la funcion de perdida. +Solo aplica la formula MSE, los resultados se comparan a las predeciciones. Mas de ver que no esta saliendo bien, quiere decir que las proyecciones no se estan ajustando. (Si el valor llega a ser muy grande, tiende a ser inpreciso). +Esta metrica tiene mayor valor cuando es usada en tres dimensiones, a comparacion de solo dos. 2 . Coeficiente de determinacion ( R^2 ). +Ayuda para mostrar los bueno que se ajustan el modelo con los datos que hay, asi como su variabilidad real. +Es una de las mas utilizadas. +Cuanto el resultado se acerce a " 1 ", mejor. σ Luis menciona que otras metricas son : R-agistada, Error maximo, Error absoluto promedio (MAE), Mediana de los errores absoluto, Raiz del promedio de los errores cuadrados (RMSE), Varianza explicada. σ Por ultmo, Luis explica otra manera (muy interesante) de evaluar un modelo a traves de graficas. +Teniendo una grafica, sea cual sea la direccion que tiene, se puede hacer zoom en ella, y rotarla a un angulo de 0, luego se dibuja una linea horizontal recta (la cual representa la prediccion) y se evalua que tan distanciados los datos de la linea horizontal

Rafael Rivera

student•

Gracias por el aporte.

Hugo Montoya Diaz

student•

Jhon Freddy Tavera Blandon

student•

R-cuadrado ajustada (R-squared adjusted):

El coeficiente R-cuadrado ajustado es una medida que indica la proporción de la varianza de la variable dependiente que es explicada por el modelo, teniendo en cuenta el número de variables independientes en el modelo y el tamaño de la muestra. Mientras más cercano a 1 sea el valor del R-cuadrado ajustado, mejor es el ajuste del modelo a los datos.

Error máximo (Maximum Error):

El error máximo es simplemente el valor absoluto máximo de las diferencias entre los valores reales y los valores predichos por el modelo. Esta métrica proporciona una medida de la mayor discrepancia entre las predicciones y los valores reales.

Error absoluto promedio (Mean Absolute Error - MAE):

El error absoluto promedio es la media de las diferencias absolutas entre los valores reales y los valores predichos por el modelo. Esta métrica mide el promedio de las magnitudes de los errores sin considerar su dirección. Un valor de MAE más bajo indica una mejor capacidad predictiva del modelo.

Mediana de los errores absolutos (Median Absolute Error):

La mediana de los errores absolutos es el valor que se encuentra en el centro de los errores absolutos, ordenados de menor a mayor. A diferencia del MAE, la mediana no se ve afectada por valores atípicos y proporciona una medida robusta de los errores.

Raíz del promedio de los errores cuadrados (Root Mean Squared Error - RMSE):

El RMSE es la raíz cuadrada del promedio de los errores al cuadrado. Esta métrica penaliza los errores más grandes de manera más significativa que el MAE. Al elevar los errores al cuadrado, los errores negativos y positivos no se cancelan entre sí. El RMSE es una medida comúnmente utilizada para evaluar la precisión de un modelo de regresión y se expresa en las mismas unidades que la variable dependiente.

Varianza explicada:

La varianza explicada, también conocida como coeficiente de determinación (R-squared), indica la proporción de la varianza total de la variable dependiente que es explicada por el modelo. R-squared varía entre 0 y 1, donde 1 indica una ajuste perfecto del modelo a los datos.

Cristian Enrique Cuevas Mercado

student•

Cuando se observa el grafico de valor ajustado vs residuos. el objetivo es identificar si los residuos son contante, si tienen alguna tendencia significa presencia de heterocedasticidad en los residuos y eso es un problema en el Modelo.

Jeison Mesa Diez

student•

Claro, hay que validar los supuestos del modelo.

Felix Gonzales

student•

Cada vez que agrega una variable independiente a un modelo, el R cuadrado aumenta , incluso si la variable independiente es insignificante.Nunca decae.Mientras que el R cuadrado ajustado aumenta solo cuando la variable independiente es significativa y afecta a la variable dependiente.

Paola Alapizco

student•

📊 Ejemplo de la gráfica de residuales del modelo que entrenamos en clases previas.

⚠️ Agrego únicamente el código de evaluación del modelo y la gráfica de residuales, asumiendo que se conoce el código del entrenamiento del modelo de regresión lineal para predecir los valores de las viviendas de Boston.

Evaluamos el modelo con R^2 y MSE, utilizamos la librería scikit learn:

# Importamos los métodos para evaluar el modelo
from sklearn.metrics import mean_squared_error, r2_score

  # Obtenemos los valores predichos por el modelo
predicted_values = slr.predict(X_std)

mse = mean_squared_error(X_std, predicted_values)
r2 = r2_score(X_std, predicted_values)

print("Evalucaicón del modelo con Mean Square Error: %.4f" % mse)
print("Evalucaicón del modelo R^2: %.4f" % r2)

Obtendremos un output similar a este:

Evalucaicón del modelo con Mean Square Error: 0.0928
Evalucaicón del modelo R^2: 0.9072

Creamos los gráficos:

plt.figure(figsize=(12,10))

# Reescalamos los datos predichos a valores reales.
trans_predictet_values = y_scaler.inverse_transform(predicted_values)

# Calculamos los residuos (valor real - valor predicho)
residuals = housing_df["MEDV"] - trans_predictet_values.reshape(506)

# Estandarizamos los residuos 
residuals_std = x_scaler.fit_transform(np.array(residuals).reshape(-1,1))

plt.subplot(2, 2, 1)
plt.scatter(
  trans_predictet_values.reshape(506),
  housing_df["MEDV"],
  alpha=.5
)

plt.xlabel("Valores predecidos para MEDV")
plt.ylabel("Valores actuales de MEDV")
plt.title("Predicción vs Reales")

plt.subplot(2, 2, 2)
plt.scatter(
  trans_predictet_values,
  residuals_std,
  alpha=.5
)

plt.ylabel("Residuos Estandarizados")
plt.xlabel("Valores predichos")
plt.title("Valores residuales")

plt.axhline(
  y=0,
  color="black",
  linestyle="dashed"
)
plt.show()

Resultado:

🎯 El objetivo de este gráfico es observar:

Que los datos estén distribuidos simétricamente.
Que los datos estén agrupados (acumulados) al rededor de los valores más pequeños del eje y (0, 0.5, 1 o ,1.5).
Que no sigan un patron o tendencia aparente.

📢Para crear el gráfico de residuos me base en uno de los recursos que dejó el profesor en la clase (https://www.qualtrics.com/support/stats-iq/analyses/regression-guides/interpreting-residual-plots-improve-regression/#ExaminingPredictedResidual)

Espero este aporte les sea de ayuda!

Isaac Bryan Ascanoa Roncall

student•

Estas metricas sabia que son necesarias en el rango de machine learning pero las ignoraba por ingenuo. Ahora se que las necesito para tener los mejores graficos.

Patricia Carolina Perez Felibert

student•

buen curso, me ha encantado!

Juan Acevedo

student•

MSE: Mean Squared Error Nos indica qué tan alejada está la predicción respecto al dato real. Esto se debe a que calcula la diferencia entre el valor predicho y el valor real, eleva al cuadrado dicha diferencia (para evitar que las diferencias negativas se cancelen), la suma para cada uno de los datos y, finalmente, la divide entre la cantidad total de elementos. El resultado nos da, en promedio, la diferencia entre el valor real y el predicho, permitiéndonos saber qué tan alejados estamos de lo real. Un MSE más bajo significa mayor precisión en las predicciones.

R²: Coeficiente de Determinación Nos indica qué tanto el modelo está capturando la varianza de los datos, es decir, qué tan bien la predicción ha aprendido los patrones presentes en la información. Su valor va normalmente de 0 a 1 (aunque puede ser negativo), donde un valor cercano a 1 significa que el modelo explica muy bien la variabilidad de los datos, mientras que un valor cercano a 0 indica un mal ajuste.

Mario Alexander Vargas Celis

student•

Al evaluar un modelo de regresión lineal, es fundamental medir qué tan bien predice los valores. Dos métricas ampliamente utilizadas son:

📊 1. Coeficiente de Determinación: R² (R-squared)

¿Qué es?

R² mide la proporción de la varianza en la variable dependiente yy que es explicada por las variables independientes XX.
Es una métrica de bondad de ajuste.

Fórmula:

R2=1−SSESSTR^2 = 1 - \frac{SSE}{SST}

Donde:

SSE=∑(yi−y^i)2SSE = \sum (y_i - \hat{y}_i)^2: Suma de errores al cuadrado (residuos)
SST=∑(yi−yˉ)2SST = \sum (y_i - \bar{y})^2: Varianza total del modelo

Interpretación:

R2=1R^2 = 1: predicción perfecta.
R2=0R^2 = 0: el modelo no explica nada mejor que la media.
Puede ser negativo si el modelo es peor que predecir con la media.

📉 2. Error Cuadrático Medio: MSE (Mean Squared Error)

¿Qué es?

Mide el promedio de los errores al cuadrado entre los valores reales y los predichos.

Fórmula:

MSE=1n∑i=1n(yi−y^i)2MSE = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2

Interpretación:

Cuanto menor sea el MSE, mejor el rendimiento del modelo.
Tiene las mismas unidades al cuadrado que la variable objetivo.
Penaliza fuertemente los errores grandes.

🧪 Ejemplo práctico con scikit-learn:

from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error, r2_score from sklearn.model_selection import train_test_split

# Dividir datos X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# Modelo modelo = LinearRegression() modelo.fit(X_train, y_train)

# Predicciones y_pred = modelo.predict(X_test)

# Métricas mse = mean_squared_error(y_test, y_pred) r2 = r2_score(y_test, y_pred)

print("MSE:", mse) print("R²:", r2)

Orlando Ramirez

student•

Les dejo el código en latex de las formulas que se vieron en esta clase

MSE = \frac{1}{N} {\sum{(yi - \hat{y}i})}^2

R^2 = 1 - \frac{\sum(y_i - \hat{y_i})^2}{\sum(y_i - \bar{y})^2}

Alejandro Torres Contreras

student•

Este curso hasta le momento ha sido super bueno con la explicación de los conceptos uno por uno , muchos cursos que he tomado se resumen en: 1 vamos a aprender machine learning 2 proceden a tirar codigo, librerias y funciones con parametros 3 listo ya hicimos machine learning

Antonio Demarco Bonino

student•

Para que entiendan como se comportan estos modelos en sklearn les dejo este código:

from sklearn.metrics import mean_squared_error, r2_score

y_true = [12.1, 9.7, 8.5, 11.3, 10.8, 9.9, 11.7, 8.8, 13.5, 10.2,
          10.6, 7.9, 12.9, 9.2, 11.0, 10.3, 8.4, 10.5, 9.6, 11.4]

y_pred = [11.5, 10.2, 8.9, 10.8, 10.5, 10.3, 12.0, 8.5, 13.1, 9.9,
          9.8, 8.3, 12.5, 8.7, 10.6, 10.0, 8.1, 10.1, 9.9, 10.8]

mse = mean_squared_error(y_true, y_pred)
mse_round = np.round(mse, 4)
print(f"Mean Squared Error (MSE): {mse_round}")

r2 = r2_score(y_true, y_pred)
r2_round = np.round(r2, 4)
print(f"R²: {r2_round}")

En este caso, un MSE de 0.193 indica que el modelo tiene un error pequeño, pero aún no es perfecto.
En este caso, un R² de 0.9083 significa que el modelo puede explicar aproximadamente el 90.83% de la variabilidad de los datos, lo que es un muy buen ajuste.

Jose Manuel Rivas Márquez

student•

MSE(Mean Square error): Error cuadratico medio, se utiliza par calcular la funcion de perdida

Gilberto Gutiérrez Gordillo

student•

pensé que al menos pondría ejemplos mas reales en python

Marlon Fernando

student•

La gráfica de residuales parece la rotación del espacio lineal a 90° como lo vimos en el curso de Algebra Lineal para ML.

A*v = B, donde v es el vector transformador.