Visualización del análisis de regresión múltiple
Contenido del curso
-stakeholder: y si nos devolvemos por la bascula?
-Data Analyst: no hombre, mejor construyamos 5 modelos para predecir el peso y luego los graficamos para ver cual se ajusta mejor a los datos que ya tenemos.
-stakeholder: pero...
-Data Analyst: import statsmodels.formula.api as smf
Jajaja
JAJSJSJSJSJSJajaja
Visualizacion del Analisis de Regresion Multiple
Para tener una comparacion optima del comportamiento de cada modelo con el comportamiento de los datos, primero creamos una tabla de comparacion con la prediccion de cada modelo y los datos reales.
models_result = pd.DataFrame( dict( actual_value = preprocessed_penguins_df.body_mass_g, prediction_model_1 = model_1.predict(), prediction_model_2 = model_2.predict(), prediction_model_3 = model_3.predict(), prediction_model_4 = model_4.predict(), prediction_model_5 = model_5.predict(), species=preprocessed_penguins_df.species, sex=preprocessed_penguins_df.sex ) ) models_result
La distribucion que se muestra en values_result esta un poco sesgada. Ahora ubicamos el modelo que mas concuerda con la distribución de value_result. A simple vista notamos que la distribucion que mas se asemeja es la del modelo 5
sns.ecdfplot( data=models_result )
sns.ecdfplot( data=models_result.select_columns(['actual_value', 'prediction_model_5']) )
Debemos asegurarnos que el modelo no este simulando el ruido en los datos sino la cualidad que se desea.
sns.kdeplot( data=models_result, cumulative=True #genera curvas suavizadas de tipo acumulativas )
Pudimos haber encontrado las mismas conclusiones del modelo 5 si en el Analisis Exporatorio hubieramos experimentado con un grafico entre la longitud de las aletas y el peso de los pinguinos utilizando el sexo como variable categorica. El analisis exploratorio de los datos es sumamente importante ya que nos ayuda a intuir el modelo desde el inicio y de esa manera a ahorrar tiempo.
sns.lmplot( data=preprocessed_penguins_df, x='flipper_length_mm', y='body_mass_g', hue='sex', height=10 )
En esta visualización podemos observar que hay una relación entre el peso la especie y la longitud del pico. Donde la especie Chinstrap y Adelie tienen pesos similares, aunque los Adelie tienen una menor longitud en su pico. Caso contrario de los Gentoo quienes tienen un peso mayor (en relación a las otras especies) pero una longitud de pico similar a los Chinstrap.
Gracias por el aporte 👍
Excelentes Conclusiones!
para los que no están usando Deep note y quieren ver los histogramas
fig, ax = plt.subplots(1, 6, figsize=(20, 6)) for i, model in enumerate(models_results.columns[0:6]): sns.histplot( data=models_results, x=model, # hue='species', ax=ax[i], )
gran detalle, gracias.
Muchas gracias..!
fig, axes = plt.subplots(2, 3, figsize=(18, 10)) fig.suptitle('Comparacion Modelos') sns.ecdfplot(ax=axes[0, 0], data=models_results.select_columns(['actual_value','prediction_model_1'])) sns.ecdfplot(ax=axes[0, 1], data=models_results.select_columns(['actual_value','prediction_model_2'])) sns.ecdfplot(ax=axes[0, 2], data=models_results.select_columns(['actual_value','prediction_model_3'])) sns.ecdfplot(ax=axes[1, 0], data=models_results.select_columns(['actual_value','prediction_model_4'])) sns.ecdfplot(ax=axes[1, 1], data=models_results.select_columns(['actual_value','prediction_model_5'])) sns.ecdfplot(ax=axes[1, 2], data=models_results.select_columns(['actual_value','prediction_model_6']))
😎👍✔
Genial gracias...!
¿Que pasaría si no sólo consideramos el sexo, sino también la especie? Les dejo el código para que lo visualicen:
#Hacemos un nuevo DF para no alterar el que venimos trabajando processed_penguins_df_2 = processed_penguins_df #Creamos una nueva columna que tome el sexo y la especie de cada pingüino processed_penguins_df_2['sex_species'] = processed_penguins_df_2['sex']+'_'+processed_penguins_df_2['species'] processed_penguins_df_2['sex_species'] #Graficamos sns.lmplot( data = processed_penguins_df, x = 'flipper_length_mm', y = 'body_mass_g', hue = 'sex_species', height = 15 )
Excelente aporte, permite visualizar muy bien la data para analizarla, gracias
Gracias!!!_2 = Gracias!!!.copy()
model_result=pd.DataFrame( dict( actual_value=processed_penguins_df1.body_mass_g, prediction_model_1= model_1.predict(), prediction_model_2= model_2.predict(), prediction_model_3= model_3.predict(), prediction_model_4= model_4.predict(), prediction_model_5= model_5.predict(), species =processed_penguins_df1.species, sex=processed_penguins_df1.sex ) ) model_result```
✔👍
model_results = pd.DataFrame( dict(actual_value=processed_penguins_df.body_mass_g, prediction_model_1 = model_1.predict(), prediction_model_2 = model_2.predict(), prediction_model_3 = model_3.predict(), prediction_model_4 = model_4.predict(), prediction_model_5 = model_5.predict(), species = processed_penguins_df.species, sex = processed_penguins_df.sex) ) sns.pairplot(data=model_results)
Así se puede visualizar mucho mejor <3
fig, axes = plt.subplots(3,5, figsize=(35,30)) for i in range(0,5): axes[0,i].set_title("prediction_model_"+str((i+1))) axes[1,i].set_title("prediction_model_"+str((i+1))) axes[2,i].set_title("prediction_model_"+str((i+1))) sns.ecdfplot(data=model_results[["actual_values",("prediction_model_"+str((i+1)))]], ax=axes[0,i]); ##ECDF sns.kdeplot(data=model_results[["actual_values",("prediction_model_"+str((i+1)))]], ax=axes[1,i]); ##PDF´s sns.kdeplot(data=model_results[["actual_values",("prediction_model_"+str((i+1)))]], ax=axes[2,i], cumulative=True); ##Acumulada PDF´s
Genial muchas gracias!
import seaborn as sns sns.lmplot(x='bill_length_mm', y='body_mass_g', hue='species', data=penguins)
import matplotlib.pyplot as plt fig, axs = plt.subplots(ncols=3, figsize=(15, 5)) sns.residplot(x='bill_length_mm', y='body_mass_g', data=penguins, ax=axs[0]) sns.residplot(x='bill_depth_mm', y='body_mass_g', data=penguins, ax=axs[1]) sns.residplot(x='species', y='body_mass_g', data=penguins, ax=axs[2]) plt.tight_layout()
No me quedaba del todo claro el tema, así que encontré estos artículos que explican detalladamente cómo leer Regresión lineal múltiple y cómo Aplicar regresión Lineal múltiple
👾✨
Gracias! me sirvió mucho!
cuando pongo:
models_results = pd.DataFrame( dict( actual_value = preprocess_penguins_df.body_mass_g, prediction_model_1 = model_1.predict(), prediction_model_2 = model_2.predict(), prediction_model_3 = model_3.predict(), prediction_model_4 = model_4.predict(), prediction_model_5 = model_5.predict(), species=preprocess_penguins_df.species, sex=preprocess_penguins_df.sex ) ) models_results
me tira ValueError: All arrays must be of the same length
me ayudadan por favor a alguien mas le paso este error? nose como arreglarlo
Hola , me pasa lo mismo , pudiste sabes a que se debía?
Hola compañero. No tuve problema al redactarlo y ejecutarlo en deepnote, pero estoy casi seguro que el problema va por tu base de datos. Estas usando el dataframe preprocessed_penguins_df, cuando usamos processed_penguins_df (en procedimientos anteriores se les quito todos los NaN a preprocessed guardando como processed). Luego, si eras conciente de ese detalle y sobrescribiste en preprocessed -pues cada quien usa el nombre que quiere- lo más probable es que este dataframe se haya ensuciado accidentalmente; para este caso te recomiendo tomar un papel más practico, crear otro notebook volviendo a limpiar el dataframe original, y ejecutar otra vez el código; seguro que sí funciona, y confirmaras a grandes rasgos por cuál parte habría estado el fallo.
23. Visualización del análisis de regresión múltiple
Amo todo lo que se puede hacer con Seaborn:
sns.lmplot( data=neo_pre_df_peng, x='flipper_length_mm', y='body_mass_g', hue='sex', height=10 ) plt.show()
No he podido cargar lal ibreria janiror , ya la tengo instalada pero no carga. a alguien mas le pasa?
me sale el error: “All arrays must be of the same length”, creo que es porque los modelos que se predicen tienen 342 filas y el df de los pingüinos tiene 344, ¿alguien sabe porque esta diferencia y como arreglarla?
juan, revisa que estes utilizando el DataFrame procesado, es decir sin valores nulos o nan.
¿Alguien sabe porque en deepnote parece que cada cierto tiempo se resetea lo programado?. Cada 30 min aprox tengo que correr las librerias.
Es la versión de gratuita, por lo que cada cierto tiempo reinicia la maquina virtual
Tengo una duda, una vez ya tengo el modelo indicado, ¿cómo lo puedo correr? Es decir, digamos que, siguiendo con el ejemplo, tengo unas nuevas mediciones del tamaño de la aleta y el sexo de los pingüinos y quiero saber según esos datos, cuál es el peso, ¿cómo lo aplico?
**Nota: ** Increíble curso. Siento que he aprendido muchísimo.
Bueno, acá analizando mi pregunta, creo que en el DataFrame de los resultados se incluye la columna "actual_value" a modo de referencia, para constrastar los resultados de las predicciones, pero las predicciones no dependen de estos valores, por ende se podría omitir dicha columna e igual los obtendría a partir de los demás datos utilziados en el modelo, ¿Es correcto?
DEEPNOTE
CREACIÓN DE UN DATAFRAME DE RESULTADOS
1.b) Código:
models_results = pd.DataFrame(
dict(
actual_value=processed_penguins_df.body_mass_g,
prediction_model_1=model_1.predict(),
prediction_model_2=model_2.predict(),
prediction_model_3=model_3.predict(),
prediction_model_4=model_4.predict(),
prediction_model_5=model_5.predict(),
species=processed_penguins_df.species,
sex=processed_penguins_df.sex
)
)
models_results
1.c) Descripción del Código:
1.d) Descripción del Resultado: Se muestra el DataFrame models_results. Incluye valores reales, predicciones de los modelos y metadatos (species y sex). Contiene columnas numéricas y categóricas.
GRÁFICO DE FUNCIÓN DE DISTRIBUCIÓN ACUMULATIVA EMPÍRICA (ECDF) PARA TODAS LAS COLUMNAS
1.b) Código:
sns.ecdfplot(
data=models_results
)
1.c) Descripción del Código:
1.d) Descripción del Resultado: El gráfico ECDF muestra la distribución de los valores reales y los predichos para todos los modelos. Cada línea representa la proporción acumulativa de valores para una columna específica.
COMPARACIÓN DE ECDFS PARA VALORES REALES Y PREDICCIONES DEL MODELO 5
1.b) Código:
sns.ecdfplot(
data=models_results.select_columns(['actual_value', 'prediction_model_5'])
)
1.c) Descripción del Código:
1.d) Descripción del Resultado: El gráfico visualiza la distribución de los valores reales frente a las predicciones del Modelo 5, permitiendo una comparación directa del desempeño.
GRÁFICO DE DENSIDAD (PDF) PARA TODAS LAS COLUMNAS
1.b) Código:
sns.kdeplot(
data=models_results
)
1.c) Descripción del Código:
1.d) Descripción del Resultado: El gráfico muestra las funciones de densidad de probabilidad para los valores reales y las predicciones de todos los modelos. Cada curva representa la densidad estimada para una columna específica.
FUNCIÓN DE DENSIDAD ACUMULATIVA (CDF) PARA TODAS LAS COLUMNAS
1.a) Título: Gráfico de Densidad Acumulativa para Todas las Columnas
1.b) Código:
sns.kdeplot(
data=models_results,
cumulative=True
)
1.c) Descripción del Código:
1.d) Descripción del Resultado: El gráfico muestra la distribución acumulativa para los valores reales y las predicciones de todos los modelos, con curvas que alcanzan un valor de 1 en el rango máximo.
DIAGRAMA DE DISPERSIÓN PARA LONGITUD DE ALETA Y MASA CORPORAL POR SEXO
1.a) Título: Diagrama de Dispersión de Longitud de Aleta vs. Masa Corporal por Sexo
1.b) Código:
sns.lmplot(
data=processed_penguins_df,
x='flipper_length_mm',
y='body_mass_g',
hue='sex',
height=10
)
1.c) Descripción del Código:
1.d) Descripción del Resultado: El diagrama de dispersión visualiza la relación entre la longitud de la aleta y la masa corporal de los pingüinos, separados por sexo (macho y hembra) con colores distintos. También se incluyen líneas de regresión para cada grupo.
