Visualización del análisis de regresión múltiple

Cursos Empresas Blog Live Conf Precios

Contenido del curso

Introducción al análisis exploratorio de datos

Análisis univariado

Análisis bivariado

Análisis multivariado

Conclusiones

Tomar examen

Visualización del análisis de regresión múltiple

Comentarios

Luis Mendez

student

-stakeholder: y si nos devolvemos por la bascula?

-Data Analyst: no hombre, mejor construyamos 5 modelos para predecir el peso y luego los graficamos para ver cual se ajusta mejor a los datos que ya tenemos.

-stakeholder: pero...

-Data Analyst: import statsmodels.formula.api as smf

Luis Manuel Gomes Rondon

student

Jajaja

Emma Yendis

student

JAJSJSJSJSJSJajaja

Jeinfferson Bernal G

student

Visualizacion del Analisis de Regresion Multiple

Para tener una comparacion optima del comportamiento de cada modelo con el comportamiento de los datos, primero creamos una tabla de comparacion con la prediccion de cada modelo y los datos reales.

Creacion Tabla de Resultados

models_result = pd.DataFrame(
    dict(
        actual_value = preprocessed_penguins_df.body_mass_g,
        prediction_model_1 = model_1.predict(),
        prediction_model_2 = model_2.predict(),
        prediction_model_3 = model_3.predict(),
        prediction_model_4 = model_4.predict(),
        prediction_model_5 = model_5.predict(),
        species=preprocessed_penguins_df.species,
        sex=preprocessed_penguins_df.sex
    )
)

models_result

La distribucion que se muestra en values_result esta un poco sesgada. Ahora ubicamos el modelo que mas concuerda con la distribución de value_result. A simple vista notamos que la distribucion que mas se asemeja es la del modelo 5

Grafica de los resultados de la tabla mediante la Funcion de Distribucion Acumulada (ECDFs)

sns.ecdfplot(
    data=models_result
)

Grafica de solo el comportamiento de los datos reales y el modelo que mas se asemeja

sns.ecdfplot(
    data=models_result.select_columns(['actual_value', 'prediction_model_5'])
)

Debemos asegurarnos que el modelo no este simulando el ruido en los datos sino la cualidad que se desea.

Grafica de los resultados de la tabla mediante la Densidad de Probabilidad

sns.kdeplot(
    data=models_result,
    cumulative=True #genera curvas suavizadas de tipo acumulativas
)

Pudimos haber encontrado las mismas conclusiones del modelo 5 si en el Analisis Exporatorio hubieramos experimentado con un grafico entre la longitud de las aletas y el peso de los pinguinos utilizando el sexo como variable categorica. El analisis exploratorio de los datos es sumamente importante ya que nos ayuda a intuir el modelo desde el inicio y de esa manera a ahorrar tiempo.

sns.lmplot(
    data=preprocessed_penguins_df,
    x='flipper_length_mm',
    y='body_mass_g',
    hue='sex',
    height=10
)

Daniela Mendoza Redondo

student

En esta visualización podemos observar que hay una relación entre el peso la especie y la longitud del pico. Donde la especie Chinstrap y Adelie tienen pesos similares, aunque los Adelie tienen una menor longitud en su pico. Caso contrario de los Gentoo quienes tienen un peso mayor (en relación a las otras especies) pero una longitud de pico similar a los Chinstrap.

Juan R. Vergara M.

student

Gracias por el aporte 👍

Jeinfferson Bernal G

student

Excelentes Conclusiones!

Erik Alejandro Garcia Duarte

student

para los que no están usando Deep note y quieren ver los histogramas

fig, ax = plt.subplots(1, 6, figsize=(20, 6))

for i, model in enumerate(models_results.columns[0:6]):
    sns.histplot(
        data=models_results,
        x=model,
        # hue='species',
        ax=ax[i],
    )

Gibran Alonso Pérez Favela

student

gran detalle, gracias.

Pablo Alejandro Figueroa

student

Muchas gracias..!

Roger Christian Cansaya Olazabal

student

fig, axes = plt.subplots(2, 3, figsize=(18, 10))

fig.suptitle('Comparacion Modelos')

sns.ecdfplot(ax=axes[0, 0], data=models_results.select_columns(['actual_value','prediction_model_1']))
sns.ecdfplot(ax=axes[0, 1], data=models_results.select_columns(['actual_value','prediction_model_2']))
sns.ecdfplot(ax=axes[0, 2], data=models_results.select_columns(['actual_value','prediction_model_3']))
sns.ecdfplot(ax=axes[1, 0], data=models_results.select_columns(['actual_value','prediction_model_4']))
sns.ecdfplot(ax=axes[1, 1], data=models_results.select_columns(['actual_value','prediction_model_5']))
sns.ecdfplot(ax=axes[1, 2], data=models_results.select_columns(['actual_value','prediction_model_6']))

Juan R. Vergara M.

student

😎👍✔

Pablo Alejandro Figueroa

student

Genial gracias...!

Juan Santiago Gutierrez Estrada

student

¿Que pasaría si no sólo consideramos el sexo, sino también la especie? Les dejo el código para que lo visualicen:

#Hacemos un nuevo DF para no alterar el que venimos trabajando

processed_penguins_df_2 = processed_penguins_df

#Creamos una nueva columna que tome el sexo y la especie de cada pingüino

processed_penguins_df_2['sex_species'] = processed_penguins_df_2['sex']+'_'+processed_penguins_df_2['species']
processed_penguins_df_2['sex_species']

#Graficamos

sns.lmplot(
    data = processed_penguins_df,
    x = 'flipper_length_mm',
    y = 'body_mass_g',
    hue = 'sex_species',   
    height = 15
)

Nancy Santana

student

Excelente aporte, permite visualizar muy bien la data para analizarla, gracias

Pablo Alejandro Figueroa

student

Gracias!!!_2 = Gracias!!!.copy()

Even Ronald Perez Diaz

student

model_result=pd.DataFrame(
    dict(
        actual_value=processed_penguins_df1.body_mass_g,
        prediction_model_1= model_1.predict(),
        prediction_model_2= model_2.predict(),
        prediction_model_3= model_3.predict(),
        prediction_model_4= model_4.predict(),
        prediction_model_5= model_5.predict(),
        species =processed_penguins_df1.species,
        sex=processed_penguins_df1.sex 
    )
)
model_result```

Juan R. Vergara M.

student

✔👍

Sebastian Gaviria

student

model_results = pd.DataFrame(
    dict(actual_value=processed_penguins_df.body_mass_g,
         prediction_model_1 = model_1.predict(),
         prediction_model_2 = model_2.predict(),
         prediction_model_3 = model_3.predict(),
         prediction_model_4 = model_4.predict(),
         prediction_model_5 = model_5.predict(),
         species = processed_penguins_df.species,
         sex = processed_penguins_df.sex)
)

sns.pairplot(data=model_results)

Jorge Cifuentes

student

Así se puede visualizar mucho mejor <3

fig, axes = plt.subplots(3,5, figsize=(35,30))

for i in range(0,5):
  axes[0,i].set_title("prediction_model_"+str((i+1)))
  axes[1,i].set_title("prediction_model_"+str((i+1)))
  axes[2,i].set_title("prediction_model_"+str((i+1)))
  sns.ecdfplot(data=model_results[["actual_values",("prediction_model_"+str((i+1)))]], ax=axes[0,i]); ##ECDF
  sns.kdeplot(data=model_results[["actual_values",("prediction_model_"+str((i+1)))]], ax=axes[1,i]);  ##PDF´s
  sns.kdeplot(data=model_results[["actual_values",("prediction_model_"+str((i+1)))]], ax=axes[2,i], cumulative=True);  ##Acumulada PDF´s

Pablo Alejandro Figueroa

student

Genial muchas gracias!

Jhon Freddy Tavera Blandon

student

Una forma común de visualizar los resultados de un análisis de regresión múltiple es mediante gráficos de dispersión, que muestran la relación entre la variable de respuesta y las variables predictoras. Podemos utilizar la biblioteca de visualización "seaborn" para crear gráficos de dispersión con líneas de regresión ajustadas al modelo.

Por ejemplo, si queremos visualizar la relación entre la masa corporal y la longitud del pico para cada especie de pingüino, podemos utilizar el siguiente código:

import seaborn as sns

sns.lmplot(x='bill_length_mm', y='body_mass_g', hue='species', data=penguins)

Este código creará un gráfico de dispersión con una línea de regresión ajustada para cada especie de pingüino, lo que nos permitirá comparar visualmente las relaciones entre las variables para cada especie. Si queremos incluir más variables predictoras en el modelo, podemos utilizar el parámetro "col" para crear subgráficos para cada combinación de variables.

También podemos utilizar gráficos residuales para evaluar la adecuación del modelo y detectar posibles patrones de residuos. Por ejemplo, podemos crear un gráfico de residuos para cada variable predictor y la variable de respuesta utilizando el siguiente código:

import matplotlib.pyplot as plt

fig, axs = plt.subplots(ncols=3, figsize=(15, 5))

sns.residplot(x='bill_length_mm', y='body_mass_g', data=penguins, ax=axs[0])
sns.residplot(x='bill_depth_mm', y='body_mass_g', data=penguins, ax=axs[1])
sns.residplot(x='species', y='body_mass_g', data=penguins, ax=axs[2])

plt.tight_layout()

Este código creará un gráfico de residuos para cada variable predictor, que muestra la diferencia entre los valores observados y los valores predichos por el modelo. Si el modelo es adecuado, esperamos que los residuos se distribuyan de manera aleatoria alrededor de cero y no muestren patrones evidentes. Si hay patrones en los residuos, puede indicar que el modelo no es adecuado para los datos.

En general, la visualización es una herramienta importante para el análisis de regresión múltiple y puede ayudar a identificar patrones y anomalías en los datos que pueden ser difíciles de detectar solo con análisis numéricos.

Eduard Giraldo Martínez

student

No me quedaba del todo claro el tema, así que encontré estos artículos que explican detalladamente cómo leer Regresión lineal múltiple y cómo Aplicar regresión Lineal múltiple

👾✨

Pablo Alejandro Figueroa

student

Gracias! me sirvió mucho!

Martin Arguello

student

cuando pongo:

models_results = pd.DataFrame( dict( actual_value = preprocess_penguins_df.body_mass_g, prediction_model_1 = model_1.predict(), prediction_model_2 = model_2.predict(), prediction_model_3 = model_3.predict(), prediction_model_4 = model_4.predict(), prediction_model_5 = model_5.predict(), species=preprocess_penguins_df.species, sex=preprocess_penguins_df.sex ) ) models_results

me tira ValueError: All arrays must be of the same length

jabes nestor frias martinez

student

me ayudadan por favor a alguien mas le paso este error? nose como arreglarlo

Juan Pablo Gelvez

student

Hola , me pasa lo mismo , pudiste sabes a que se debía?

Yonatan Efraín Jara Boza

student

Hola compañero. No tuve problema al redactarlo y ejecutarlo en deepnote, pero estoy casi seguro que el problema va por tu base de datos. Estas usando el dataframe preprocessed_penguins_df, cuando usamos processed_penguins_df (en procedimientos anteriores se les quito todos los NaN a preprocessed guardando como processed). Luego, si eras conciente de ese detalle y sobrescribiste en preprocessed -pues cada quien usa el nombre que quiere- lo más probable es que este dataframe se haya ensuciado accidentalmente; para este caso te recomiendo tomar un papel más practico, crear otro notebook volviendo a limpiar el dataframe original, y ejecutar otra vez el código; seguro que sí funciona, y confirmaras a grandes rasgos por cuál parte habría estado el fallo.

Andres Sanchez

student

23. Visualización del análisis de regresión múltiple

Desde el inicio se puede empezar analizando múltiples variables y después comenzar a crear los modelos de interés
La magia de explorar es que te puede ayudar a ahorrar demasiado tiempo
Explorar es la herramienta fundamental

Antonio Demarco Bonino

student

Amo todo lo que se puede hacer con Seaborn:

sns.lmplot(
    data=neo_pre_df_peng,
    x='flipper_length_mm',
    y='body_mass_g',
    hue='sex',
    height=10
)

plt.show()

Carlos Andrés

student

No he podido cargar lal ibreria janiror , ya la tengo instalada pero no carga. a alguien mas le pasa?

![100.png](https://static.platzi.com/media/user_upload/100-d592c501-9baf-435c-a449-43785d337689.jpg)

Juan Diego Herrera

student

me sale el error: “All arrays must be of the same length”, creo que es porque los modelos que se predicen tienen 342 filas y el df de los pingüinos tiene 344, ¿alguien sabe porque esta diferencia y como arreglarla?

ssanchezm

student

juan, revisa que estes utilizando el DataFrame procesado, es decir sin valores nulos o nan.

Mauro Benito Montoya Arenas

student

¿Alguien sabe porque en deepnote parece que cada cierto tiempo se resetea lo programado?. Cada 30 min aprox tengo que correr las librerias.

Dionicio Perez

student

Es la versión de gratuita, por lo que cada cierto tiempo reinicia la maquina virtual

Miguel Sosa

student

Tengo una duda, una vez ya tengo el modelo indicado, ¿cómo lo puedo correr? Es decir, digamos que, siguiendo con el ejemplo, tengo unas nuevas mediciones del tamaño de la aleta y el sexo de los pingüinos y quiero saber según esos datos, cuál es el peso, ¿cómo lo aplico?

**Nota: ** Increíble curso. Siento que he aprendido muchísimo.

Miguel Sosa

student

Bueno, acá analizando mi pregunta, creo que en el DataFrame de los resultados se incluye la columna "actual_value" a modo de referencia, para constrastar los resultados de las predicciones, pero las predicciones no dependen de estos valores, por ende se podría omitir dicha columna e igual los obtendría a partir de los demás datos utilziados en el modelo, ¿Es correcto?

Gabriel Obregón

student

DEEPNOTE

CREACIÓN DE UN DATAFRAME DE RESULTADOS

1.b) Código:

models_results = pd.DataFrame(

dict(

actual_value=processed_penguins_df.body_mass_g,

prediction_model_1=model_1.predict(),

prediction_model_2=model_2.predict(),

prediction_model_3=model_3.predict(),

prediction_model_4=model_4.predict(),

prediction_model_5=model_5.predict(),

species=processed_penguins_df.species,

sex=processed_penguins_df.sex

)

models_results

1.c) Descripción del Código:

Línea 1: Crea un DataFrame models_results usando el método pd.DataFrame.
Líneas 2-8: Define las columnas del DataFrame:
- actual_value: Masa corporal de los pingüinos en el conjunto de datos.
- prediction_model_1 a prediction_model_5: Predicciones de cinco modelos diferentes.
- species: Información de especies del conjunto de datos.
- sex: Información de sexo del conjunto de datos.
Línea 10: Muestra el DataFrame models_results.

1.d) Descripción del Resultado: Se muestra el DataFrame models_results. Incluye valores reales, predicciones de los modelos y metadatos (species y sex). Contiene columnas numéricas y categóricas.

GRÁFICO DE FUNCIÓN DE DISTRIBUCIÓN ACUMULATIVA EMPÍRICA (ECDF) PARA TODAS LAS COLUMNAS

1.b) Código:

sns.ecdfplot(

data=models_results

)

1.c) Descripción del Código:

Línea 1-2: Usa sns.ecdfplot para generar un gráfico ECDF para todas las columnas numéricas en models_results.

1.d) Descripción del Resultado: El gráfico ECDF muestra la distribución de los valores reales y los predichos para todos los modelos. Cada línea representa la proporción acumulativa de valores para una columna específica.

COMPARACIÓN DE ECDFS PARA VALORES REALES Y PREDICCIONES DEL MODELO 5

1.b) Código:

sns.ecdfplot(

data=models_results.select_columns(['actual_value', 'prediction_model_5'])

)

1.c) Descripción del Código:

Línea 1-2: Grafica un gráfico ECDF comparando únicamente las columnas actual_value y prediction_model_5.

1.d) Descripción del Resultado: El gráfico visualiza la distribución de los valores reales frente a las predicciones del Modelo 5, permitiendo una comparación directa del desempeño.

GRÁFICO DE DENSIDAD (PDF) PARA TODAS LAS COLUMNAS

1.b) Código:

sns.kdeplot(

data=models_results

)

1.c) Descripción del Código:

Línea 1-2: Usa la función sns.kdeplot de Seaborn para crear gráficos de estimación de densidad (KDE) para todas las columnas numéricas en el DataFrame models_results.

1.d) Descripción del Resultado: El gráfico muestra las funciones de densidad de probabilidad para los valores reales y las predicciones de todos los modelos. Cada curva representa la densidad estimada para una columna específica.

FUNCIÓN DE DENSIDAD ACUMULATIVA (CDF) PARA TODAS LAS COLUMNAS

1.a) Título: Gráfico de Densidad Acumulativa para Todas las Columnas

1.b) Código:

sns.kdeplot(

data=models_results,

cumulative=True

)

1.c) Descripción del Código:

Línea 1-3: Crea un gráfico de densidad acumulativa usando la función sns.kdeplot con el parámetro cumulative=True para visualizar la distribución acumulativa de todas las columnas numéricas.

1.d) Descripción del Resultado: El gráfico muestra la distribución acumulativa para los valores reales y las predicciones de todos los modelos, con curvas que alcanzan un valor de 1 en el rango máximo.

DIAGRAMA DE DISPERSIÓN PARA LONGITUD DE ALETA Y MASA CORPORAL POR SEXO

1.a) Título: Diagrama de Dispersión de Longitud de Aleta vs. Masa Corporal por Sexo

1.b) Código:

sns.lmplot(

data=processed_penguins_df,

x='flipper_length_mm',

y='body_mass_g',

hue='sex',

height=10

)

1.c) Descripción del Código:

Líneas 1-5: Crea un diagrama de dispersión con líneas de regresión lineal usando la función sns.lmplot:
- data=processed_penguins_df: Especifica el conjunto de datos.
- x='flipper_length_mm': Usa la longitud de la aleta como eje x.
- y='body_mass_g': Usa la masa corporal como eje y.
- hue='sex': Diferencia los puntos según la categoría sex (por ejemplo, macho y hembra).
- height=10: Ajusta el tamaño del gráfico.

1.d) Descripción del Resultado: El diagrama de dispersión visualiza la relación entre la longitud de la aleta y la masa corporal de los pingüinos, separados por sexo (macho y hembra) con colores distintos. También se incluyen líneas de regresión para cada grupo.

models_result = pd.DataFrame(
    dict(
        actual_value = preprocessed_penguins_df.body_mass_g,
        prediction_model_1 = model_1.predict(),
        prediction_model_2 = model_2.predict(),
        prediction_model_3 = model_3.predict(),
        prediction_model_4 = model_4.predict(),
        prediction_model_5 = model_5.predict(),
        species=preprocessed_penguins_df.species,
        sex=preprocessed_penguins_df.sex
    )
)

models_result 

fig, ax = plt.subplots(1, 6, figsize=(20, 6))

for i, model in enumerate(models_results.columns[0:6]):
    sns.histplot(
        data=models_results,
        x=model,
        # hue='species',
        ax=ax[i],
    )

fig, axes = plt.subplots(2, 3, figsize=(18, 10))

fig.suptitle('Comparacion Modelos')

sns.ecdfplot(ax=axes[0, 0], data=models_results.select_columns(['actual_value','prediction_model_1']))
sns.ecdfplot(ax=axes[0, 1], data=models_results.select_columns(['actual_value','prediction_model_2']))
sns.ecdfplot(ax=axes[0, 2], data=models_results.select_columns(['actual_value','prediction_model_3']))
sns.ecdfplot(ax=axes[1, 0], data=models_results.select_columns(['actual_value','prediction_model_4']))
sns.ecdfplot(ax=axes[1, 1], data=models_results.select_columns(['actual_value','prediction_model_5']))
sns.ecdfplot(ax=axes[1, 2], data=models_results.select_columns(['actual_value','prediction_model_6']))

#Hacemos un nuevo DF para no alterar el que venimos trabajando

processed_penguins_df_2 = processed_penguins_df

#Creamos una nueva columna que tome el sexo y la especie de cada pingüino

processed_penguins_df_2['sex_species'] = processed_penguins_df_2['sex']+'_'+processed_penguins_df_2['species']
processed_penguins_df_2['sex_species']

#Graficamos

sns.lmplot(
    data = processed_penguins_df,
    x = 'flipper_length_mm',
    y = 'body_mass_g',
    hue = 'sex_species',   
    height = 15
)

model_result=pd.DataFrame(
    dict(
        actual_value=processed_penguins_df1.body_mass_g,
        prediction_model_1= model_1.predict(),
        prediction_model_2= model_2.predict(),
        prediction_model_3= model_3.predict(),
        prediction_model_4= model_4.predict(),
        prediction_model_5= model_5.predict(),
        species =processed_penguins_df1.species,
        sex=processed_penguins_df1.sex 
    )
)
model_result```

model_results = pd.DataFrame(
    dict(actual_value=processed_penguins_df.body_mass_g,
         prediction_model_1 = model_1.predict(),
         prediction_model_2 = model_2.predict(),
         prediction_model_3 = model_3.predict(),
         prediction_model_4 = model_4.predict(),
         prediction_model_5 = model_5.predict(),
         species = processed_penguins_df.species,
         sex = processed_penguins_df.sex)
)

sns.pairplot(data=model_results)

fig, axes = plt.subplots(3,5, figsize=(35,30))

for i in range(0,5):
  axes[0,i].set_title("prediction_model_"+str((i+1)))
  axes[1,i].set_title("prediction_model_"+str((i+1)))
  axes[2,i].set_title("prediction_model_"+str((i+1)))
  sns.ecdfplot(data=model_results[["actual_values",("prediction_model_"+str((i+1)))]], ax=axes[0,i]); ##ECDF
  sns.kdeplot(data=model_results[["actual_values",("prediction_model_"+str((i+1)))]], ax=axes[1,i]);  ##PDF´s
  sns.kdeplot(data=model_results[["actual_values",("prediction_model_"+str((i+1)))]], ax=axes[2,i], cumulative=True);  ##Acumulada PDF´s 

import matplotlib.pyplot as plt

fig, axs = plt.subplots(ncols=3, figsize=(15, 5))

sns.residplot(x='bill_length_mm', y='body_mass_g', data=penguins, ax=axs[0])
sns.residplot(x='bill_depth_mm', y='body_mass_g', data=penguins, ax=axs[1])
sns.residplot(x='species', y='body_mass_g', data=penguins, ax=axs[2])

plt.tight_layout()

Introducción al análisis exploratorio de datos

¿Qué es y para qué sirve el análisis exploratorio de datos?

¿Cómo hacer un análisis exploratorio de datos?

Tipos de análisis de datos

Tipos de datos y análisis de variables

Herramientas de software para el análisis exploratorio de datos

Conociendo nuestros datos: palmerpenguins

Recolección de datos, limpieza y validación

Ejercicio de validación de datos

Análisis univariado

Explorando una variable categórica: conteos y proporciones

Estadística descriptiva aplicada: medidas de tendencia central

Estadística descriptiva aplicada: medidas de dispersión

Ejercicio de obtención de medidas de dispersión

Estadística descriptiva aplicada: distribuciones

Estadística descriptiva aplicada: funciones de densidad de probabilidad

Bonus: Teorema del límite central

Análisis bivariado

Estableciendo relaciones: gráficos de puntos

Estableciendo relaciones: gráficos de violín y boxplots

Estableciendo relaciones: matrices de correlación

Limitantes de los coeficientes de correlación lineal

Estableciendo relaciones: análisis de regresión simple

Limitaciones del análisis de regresión simple

Análisis multivariado

Análisis de regresión múltiple

Visualización del análisis de regresión múltiple

Análisis de regresión logística

Paradoja de Simpson

¿Qué hacer cuando tengo muchas variables?

Conclusiones

Diversidad de gráficas al explorar datos

Continúa aprendiendo sobre EDA