Curso de Análisis Exploratorio de Datos
Clase 23 / 28
-stakeholder: y si nos devolvemos por la bascula?
-Data Analyst: no hombre, mejor construyamos 5 modelos para predecir el peso y luego los graficamos para ver cual se ajusta mejor a los datos que ya tenemos.
-stakeholder: pero...
-Data Analyst: import statsmodels.formula.api as smf
Para tener una comparacion optima del comportamiento de cada modelo con el comportamiento de los datos, primero creamos una tabla de comparacion con la prediccion de cada modelo y los datos reales.
models_result = pd.DataFrame(
dict(
actual_value = preprocessed_penguins_df.body_mass_g,
prediction_model_1 = model_1.predict(),
prediction_model_2 = model_2.predict(),
prediction_model_3 = model_3.predict(),
prediction_model_4 = model_4.predict(),
prediction_model_5 = model_5.predict(),
species=preprocessed_penguins_df.species,
sex=preprocessed_penguins_df.sex
)
)
models_result
La distribucion que se muestra en values_result esta un poco sesgada. Ahora ubicamos el modelo que mas concuerda con la distribución de value_result. A simple vista notamos que la distribucion que mas se asemeja es la del modelo 5
sns.ecdfplot(
data=models_result
)
sns.ecdfplot(
data=models_result.select_columns(['actual_value', 'prediction_model_5'])
)
Debemos asegurarnos que el modelo no este simulando el ruido en los datos sino la cualidad que se desea.
sns.kdeplot(
data=models_result,
cumulative=True #genera curvas suavizadas de tipo acumulativas
)
Pudimos haber encontrado las mismas conclusiones del modelo 5 si en el Analisis Exporatorio hubieramos experimentado con un grafico entre la longitud de las aletas y el peso de los pinguinos utilizando el sexo como variable categorica. El analisis exploratorio de los datos es sumamente importante ya que nos ayuda a intuir el modelo desde el inicio y de esa manera a ahorrar tiempo.
sns.lmplot(
data=preprocessed_penguins_df,
x='flipper_length_mm',
y='body_mass_g',
hue='sex',
height=10
)
En esta visualización podemos observar que hay una relación entre el peso la especie y la longitud del pico. Donde la especie Chinstrap y Adelie tienen pesos similares, aunque los Adelie tienen una menor longitud en su pico. Caso contrario de los Gentoo quienes tienen un peso mayor (en relación a las otras especies) pero una longitud de pico similar a los Chinstrap. 
para los que no están usando Deep note y quieren ver los histogramas
fig, ax = plt.subplots(1, 6, figsize=(20, 6))
for i, model in enumerate(models_results.columns[0:6]):
sns.histplot(
data=models_results,
x=model,
# hue='species',
ax=ax[i],
)
fig, axes = plt.subplots(2, 3, figsize=(18, 10))
fig.suptitle('Comparacion Modelos')
sns.ecdfplot(ax=axes[0, 0], data=models_results.select_columns(['actual_value','prediction_model_1']))
sns.ecdfplot(ax=axes[0, 1], data=models_results.select_columns(['actual_value','prediction_model_2']))
sns.ecdfplot(ax=axes[0, 2], data=models_results.select_columns(['actual_value','prediction_model_3']))
sns.ecdfplot(ax=axes[1, 0], data=models_results.select_columns(['actual_value','prediction_model_4']))
sns.ecdfplot(ax=axes[1, 1], data=models_results.select_columns(['actual_value','prediction_model_5']))
sns.ecdfplot(ax=axes[1, 2], data=models_results.select_columns(['actual_value','prediction_model_6']))
¿Que pasaría si no sólo consideramos el sexo, sino también la especie? Les dejo el código para que lo visualicen:
#Hacemos un nuevo DF para no alterar el que venimos trabajando
processed_penguins_df_2 = processed_penguins_df
#Creamos una nueva columna que tome el sexo y la especie de cada pingüino
processed_penguins_df_2['sex_species'] = processed_penguins_df_2['sex']+'_'+processed_penguins_df_2['species']
processed_penguins_df_2['sex_species']
#Graficamos
sns.lmplot(
data = processed_penguins_df,
x = 'flipper_length_mm',
y = 'body_mass_g',
hue = 'sex_species',
height = 15
)
model_result=pd.DataFrame(
dict(
actual_value=processed_penguins_df1.body_mass_g,
prediction_model_1= model_1.predict(),
prediction_model_2= model_2.predict(),
prediction_model_3= model_3.predict(),
prediction_model_4= model_4.predict(),
prediction_model_5= model_5.predict(),
species =processed_penguins_df1.species,
sex=processed_penguins_df1.sex
)
)
model_result```
model_results = pd.DataFrame(
dict(actual_value=processed_penguins_df.body_mass_g,
prediction_model_1 = model_1.predict(),
prediction_model_2 = model_2.predict(),
prediction_model_3 = model_3.predict(),
prediction_model_4 = model_4.predict(),
prediction_model_5 = model_5.predict(),
species = processed_penguins_df.species,
sex = processed_penguins_df.sex)
)
sns.pairplot(data=model_results)
Así se puede visualizar mucho mejor <3
fig, axes = plt.subplots(3,5, figsize=(35,30))
for i in range(0,5):
axes[0,i].set_title("prediction_model_"+str((i+1)))
axes[1,i].set_title("prediction_model_"+str((i+1)))
axes[2,i].set_title("prediction_model_"+str((i+1)))
sns.ecdfplot(data=model_results[["actual_values",("prediction_model_"+str((i+1)))]], ax=axes[0,i]); ##ECDF
sns.kdeplot(data=model_results[["actual_values",("prediction_model_"+str((i+1)))]], ax=axes[1,i]); ##PDF´s
sns.kdeplot(data=model_results[["actual_values",("prediction_model_"+str((i+1)))]], ax=axes[2,i], cumulative=True); ##Acumulada PDF´s
import seaborn as sns
sns.lmplot(x='bill_length_mm', y='body_mass_g', hue='species', data=penguins)
import matplotlib.pyplot as plt
fig, axs = plt.subplots(ncols=3, figsize=(15, 5))
sns.residplot(x='bill_length_mm', y='body_mass_g', data=penguins, ax=axs[0])
sns.residplot(x='bill_depth_mm', y='body_mass_g', data=penguins, ax=axs[1])
sns.residplot(x='species', y='body_mass_g', data=penguins, ax=axs[2])
plt.tight_layout()
Luis Mendez
-stakeholder: y si nos devolvemos por la bascula?
-Data Analyst: no hombre, mejor construyamos 5 modelos para predecir el peso y luego los graficamos para ver cual se ajusta mejor a los datos que ya tenemos.
-stakeholder: pero...
-Data Analyst: import statsmodels.formula.api as smf
Luis Manuel Gomes Rondon
Jajaja
Emma Yendis
JAJSJSJSJSJSJajaja
Jeinfferson Bernal G
Daniela Mendoza Redondo
En esta visualización podemos observar que hay una relación entre el peso la especie y la longitud del pico. Donde la especie Chinstrap y Adelie tienen pesos similares, aunque los Adelie tienen una menor longitud en su pico. Caso contrario de los Gentoo quienes tienen un peso mayor (en relación a las otras especies) pero una longitud de pico similar a los Chinstrap.
Juan R. Vergara M.
Gracias por el aporte 👍
Jeinfferson Bernal G
Excelentes Conclusiones!
Erik Alejandro Garcia Duarte
para los que no están usando Deep note y quieren ver los histogramas
fig, ax = plt.subplots(1, 6, figsize=(20, 6)) for i, model in enumerate(models_results.columns[0:6]): sns.histplot( data=models_results, x=model, # hue='species', ax=ax[i], )
Gibran Alonso Pérez Favela
gran detalle, gracias.
Pablo Alejandro Figueroa
Muchas gracias..!
Roger Christian Cansaya Olazabal
Juan R. Vergara M.
😎👍✔
Pablo Alejandro Figueroa
Genial gracias...!
Juan Santiago Gutierrez Estrada
¿Que pasaría si no sólo consideramos el sexo, sino también la especie? Les dejo el código para que lo visualicen:
#Hacemos un nuevo DF para no alterar el que venimos trabajando processed_penguins_df_2 = processed_penguins_df #Creamos una nueva columna que tome el sexo y la especie de cada pingüino processed_penguins_df_2['sex_species'] = processed_penguins_df_2['sex']+'_'+processed_penguins_df_2['species'] processed_penguins_df_2['sex_species'] #Graficamos sns.lmplot( data = processed_penguins_df, x = 'flipper_length_mm', y = 'body_mass_g', hue = 'sex_species', height = 15 )
Nancy Santana
Excelente aporte, permite visualizar muy bien la data para analizarla, gracias
Pablo Alejandro Figueroa
Gracias!!!_2 = Gracias!!!.copy()
Even Ronald Perez Diaz
model_result=pd.DataFrame( dict( actual_value=processed_penguins_df1.body_mass_g, prediction_model_1= model_1.predict(), prediction_model_2= model_2.predict(), prediction_model_3= model_3.predict(), prediction_model_4= model_4.predict(), prediction_model_5= model_5.predict(), species =processed_penguins_df1.species, sex=processed_penguins_df1.sex ) ) model_result```
Juan R. Vergara M.
✔👍
Sebastian Gaviria
model_results = pd.DataFrame( dict(actual_value=processed_penguins_df.body_mass_g, prediction_model_1 = model_1.predict(), prediction_model_2 = model_2.predict(), prediction_model_3 = model_3.predict(), prediction_model_4 = model_4.predict(), prediction_model_5 = model_5.predict(), species = processed_penguins_df.species, sex = processed_penguins_df.sex) ) sns.pairplot(data=model_results)
Jorge Cifuentes
Pablo Alejandro Figueroa
Genial muchas gracias!
Jhon Freddy Tavera Blandon
Eduard Giraldo Martínez
No me quedaba del todo claro el tema, así que encontré estos artículos que explican detalladamente cómo leer Regresión lineal múltiple y cómo Aplicar regresión Lineal múltiple
👾✨
Pablo Alejandro Figueroa
Gracias! me sirvió mucho!
Martin Arguello
cuando pongo:
models_results = pd.DataFrame( dict( actual_value = preprocess_penguins_df.body_mass_g, prediction_model_1 = model_1.predict(), prediction_model_2 = model_2.predict(), prediction_model_3 = model_3.predict(), prediction_model_4 = model_4.predict(), prediction_model_5 = model_5.predict(), species=preprocess_penguins_df.species, sex=preprocess_penguins_df.sex ) ) models_results
me tira ValueError: All arrays must be of the same length
jabes nestor frias martinez
me ayudadan por favor a alguien mas le paso este error? nose como arreglarlo
Juan Pablo Gelvez
Hola , me pasa lo mismo , pudiste sabes a que se debía?
Yonatan Efraín Jara Boza
Hola compañero. No tuve problema al redactarlo y ejecutarlo en deepnote, pero estoy casi seguro que el problema va por tu base de datos. Estas usando el dataframe preprocessed_penguins_df, cuando usamos processed_penguins_df (en procedimientos anteriores se les quito todos los NaN a preprocessed guardando como processed). Luego, si eras conciente de ese detalle y sobrescribiste en preprocessed -pues cada quien usa el nombre que quiere- lo más probable es que este dataframe se haya ensuciado accidentalmente; para este caso te recomiendo tomar un papel más practico, crear otro notebook volviendo a limpiar el dataframe original, y ejecutar otra vez el código; seguro que sí funciona, y confirmaras a grandes rasgos por cuál parte habría estado el fallo.
Andres Sanchez
23. Visualización del análisis de regresión múltiple
Antonio Demarco Bonino
Amo todo lo que se puede hacer con Seaborn:
sns.lmplot( data=neo_pre_df_peng, x='flipper_length_mm', y='body_mass_g', hue='sex', height=10 ) plt.show()
Jhon Alexander Mosquera Vanegas
La clase termina con una lección incómoda: un lmplot de peso contra aleta separado por sexo mostraba que los machos pesan más, y habría llevado al modelo útil sin construir cinco. Explorar primero ahorra trabajo. Para quien contrata o ejecuta consultorías de datos, eso se traduce en una práctica de gestión: reservar tiempo de exploración antes de pedir modelos, porque a menudo la estructura del problema aparece en una gráfica de dos variables y un color. Por ejemplo, un caso típico es separar por región o por tipo de entidad antes de modelar el gasto.
Carlos Andrés
No he podido cargar lal ibreria janiror , ya la tengo instalada pero no carga. a alguien mas le pasa?
Juan Diego Herrera
me sale el error: “All arrays must be of the same length”, creo que es porque los modelos que se predicen tienen 342 filas y el df de los pingüinos tiene 344, ¿alguien sabe porque esta diferencia y como arreglarla?
ssanchezm
juan, revisa que estes utilizando el DataFrame procesado, es decir sin valores nulos o nan.
Mauro Benito Montoya Arenas
¿Alguien sabe porque en deepnote parece que cada cierto tiempo se resetea lo programado?. Cada 30 min aprox tengo que correr las librerias.
Dionicio Perez
Es la versión de gratuita, por lo que cada cierto tiempo reinicia la maquina virtual
Miguel Sosa
Tengo una duda, una vez ya tengo el modelo indicado, ¿cómo lo puedo correr? Es decir, digamos que, siguiendo con el ejemplo, tengo unas nuevas mediciones del tamaño de la aleta y el sexo de los pingüinos y quiero saber según esos datos, cuál es el peso, ¿cómo lo aplico?
**Nota: ** Increíble curso. Siento que he aprendido muchísimo.
Miguel Sosa
Bueno, acá analizando mi pregunta, creo que en el DataFrame de los resultados se incluye la columna "actual_value" a modo de referencia, para constrastar los resultados de las predicciones, pero las predicciones no dependen de estos valores, por ende se podría omitir dicha columna e igual los obtendría a partir de los demás datos utilziados en el modelo, ¿Es correcto?
Visualizacion del Analisis de Regresion Multiple
Para tener una comparacion optima del comportamiento de cada modelo con el comportamiento de los datos, primero creamos una tabla de comparacion con la prediccion de cada modelo y los datos reales.
models_result = pd.DataFrame( dict( actual_value = preprocessed_penguins_df.body_mass_g, prediction_model_1 = model_1.predict(), prediction_model_2 = model_2.predict(), prediction_model_3 = model_3.predict(), prediction_model_4 = model_4.predict(), prediction_model_5 = model_5.predict(), species=preprocessed_penguins_df.species, sex=preprocessed_penguins_df.sex ) ) models_result
La distribucion que se muestra en values_result esta un poco sesgada. Ahora ubicamos el modelo que mas concuerda con la distribución de value_result. A simple vista notamos que la distribucion que mas se asemeja es la del modelo 5
sns.ecdfplot( data=models_result )
sns.ecdfplot( data=models_result.select_columns(['actual_value', 'prediction_model_5']) )
Debemos asegurarnos que el modelo no este simulando el ruido en los datos sino la cualidad que se desea.
sns.kdeplot( data=models_result, cumulative=True #genera curvas suavizadas de tipo acumulativas )
Pudimos haber encontrado las mismas conclusiones del modelo 5 si en el Analisis Exporatorio hubieramos experimentado con un grafico entre la longitud de las aletas y el peso de los pinguinos utilizando el sexo como variable categorica. El analisis exploratorio de los datos es sumamente importante ya que nos ayuda a intuir el modelo desde el inicio y de esa manera a ahorrar tiempo.
sns.lmplot( data=preprocessed_penguins_df, x='flipper_length_mm', y='body_mass_g', hue='sex', height=10 )
fig, axes = plt.subplots(2, 3, figsize=(18, 10)) fig.suptitle('Comparacion Modelos') sns.ecdfplot(ax=axes[0, 0], data=models_results.select_columns(['actual_value','prediction_model_1'])) sns.ecdfplot(ax=axes[0, 1], data=models_results.select_columns(['actual_value','prediction_model_2'])) sns.ecdfplot(ax=axes[0, 2], data=models_results.select_columns(['actual_value','prediction_model_3'])) sns.ecdfplot(ax=axes[1, 0], data=models_results.select_columns(['actual_value','prediction_model_4'])) sns.ecdfplot(ax=axes[1, 1], data=models_results.select_columns(['actual_value','prediction_model_5'])) sns.ecdfplot(ax=axes[1, 2], data=models_results.select_columns(['actual_value','prediction_model_6']))
Así se puede visualizar mucho mejor <3
fig, axes = plt.subplots(3,5, figsize=(35,30)) for i in range(0,5): axes[0,i].set_title("prediction_model_"+str((i+1))) axes[1,i].set_title("prediction_model_"+str((i+1))) axes[2,i].set_title("prediction_model_"+str((i+1))) sns.ecdfplot(data=model_results[["actual_values",("prediction_model_"+str((i+1)))]], ax=axes[0,i]); ##ECDF sns.kdeplot(data=model_results[["actual_values",("prediction_model_"+str((i+1)))]], ax=axes[1,i]); ##PDF´s sns.kdeplot(data=model_results[["actual_values",("prediction_model_"+str((i+1)))]], ax=axes[2,i], cumulative=True); ##Acumulada PDF´s
import seaborn as sns sns.lmplot(x='bill_length_mm', y='body_mass_g', hue='species', data=penguins)
import matplotlib.pyplot as plt fig, axs = plt.subplots(ncols=3, figsize=(15, 5)) sns.residplot(x='bill_length_mm', y='body_mass_g', data=penguins, ax=axs[0]) sns.residplot(x='bill_depth_mm', y='body_mass_g', data=penguins, ax=axs[1]) sns.residplot(x='species', y='body_mass_g', data=penguins, ax=axs[2]) plt.tight_layout()