Clase 20 de 28 • Curso de Análisis Exploratorio de Datos
Contenido del curso
Eduardo Hoppenstedt
Miguel Sánchez Guerrero
Juan R. Vergara M.
Adolfo Sebastián Jara Gavilanes
FELIX DAVID CORDOVA GARCIA
Juan R. Vergara M.
Naren Fragozo
Jeinfferson Bernal G
Christian Rangel
Jeinfferson Bernal G
Rubén Cuello
Christian Rangel
Yonaikel M. Delgado N.
Diego Jurado
jhon velasque
Antonio Demarco Bonino
jhon velasque
Jesus Daniel Quiroga Saldaña
Alfonso Andres Zapata Guzman
Erick Rosero
Alfonso Andres Zapata Guzman
José Rodrigo Arana Hi
Leandro Tenjo
Bryan Carvajal
Bryan Carvajal
Eduard Giraldo Martínez
Tomas Filippo
Naren Fragozo
Mauro Benito Montoya Arenas
Andres Sanchez
Christian Rangel
Luis Orna
Luis Orna
Andres Martin
Jonathan Quiros Barquero
Aquí dejo la correlación si se pudiera ver por especie, revelando que la tendencia es positiva en todas las especies de pingüino.
sns.lmplot( data=processed_penguins_df, x='bill_length_mm', y='bill_depth_mm', height=10, hue='species' )
Resolviéndolo 'manualmente':
species_df = processed_penguins_df.set_index('species') adelie_df= species_df.loc[['Adelie']] gentoo_df= species_df.loc[['Gentoo']] chinstrap_df= species_df.loc[['Chinstrap']] sns.scatterplot( data=processed_penguins_df, x='bill_length_mm', y='bill_depth_mm', hue='species' ) res_adelie= scipy.stats.linregress( x=adelie_df.bill_length_mm, y=adelie_df.bill_depth_mm ) fx1= np.array([adelie_df.bill_length_mm.min(), adelie_df.bill_length_mm.max()]) fy1= res_adelie.intercept + res_adelie.slope * fx1 plt.plot(fx1, fy1) res_gentoo= scipy.stats.linregress( x=gentoo_df.bill_length_mm, y=gentoo_df.bill_depth_mm ) fx2= np.array([gentoo_df.bill_length_mm.min(), gentoo_df.bill_length_mm.max()]) fy2= res_gentoo.intercept + res_gentoo.slope * fx2 plt.plot(fx2, fy2) res_chinstrap= scipy.stats.linregress( x=chinstrap_df.bill_length_mm, y=chinstrap_df.bill_depth_mm ) fx3= np.array([chinstrap_df.bill_length_mm.min(), chinstrap_df.bill_length_mm.max()]) fy3= res_chinstrap.intercept + res_chinstrap.slope * fx3 plt.plot(fx3, fy3)
👍
sns.scatterplot(x=x1, y=y1) fx1 = np.array([x1.min(), x1.max()]) fy1 = r1.intercept + r1.slope * fx1 plt.plot(fx1, fy1) sns.scatterplot(x=x2, y=y2) fx2 = np.array([x2.min(), x2.max()]) fy2 = r2.intercept + r2.slope * fx2 plt.plot(fx2, fy2) plt.legend(["1", "1","2","2"])
sns.scatterplot(preprocessed, x="bill_length_mm", y="bill_depth_mm") res_penguins = scipy.stats.linregress(x=preprocessed.bill_length_mm, y=preprocessed.bill_depth_mm) print(res_penguins) fx1 = np.array([preprocessed.bill_length_mm.min(), preprocessed.bill_length_mm.max()]) fy1 = res_penguins.intercept + res_penguins.slope * fx1 plt.plot(fx1,fy1)
gracias¡¡
Excelente 🥇
slope: representa la pendiente de la línea de regresión. Indica cuánto cambia la variable dependiente por unidad de cambio en la variable independiente. En este caso, un aumento de una unidad en la longitud del pico se asocia con un aumento de 0.0119 en la masa del pingüino.intercept: representa el valor de la variable dependiente cuando la variable independiente es igual a cero. En este caso, el intercepto indica la masa del pingüino cuando la longitud del pico es cero, lo que no tiene mucho sentido en términos prácticos.rvalue: representa el coeficiente de correlación entre las dos variables. Indica cuánto se ajustan los datos a la línea de regresión. El valor de rvalue oscila entre -1 y 1, y un valor cercano a 1 indica una correlación positiva fuerte entre las variables. En este caso, el valor de rvalue es 0.6416, lo que indica una correlación moderadamente fuerte entre la longitud del pico y la masa del pingüino.pvalue: representa el valor p asociado a la hipótesis nula de que no hay relación entre las dos variables. Un valor p pequeño (generalmente < 0.05) indica que la hipótesis nula puede ser rechazada y que hay evidencia suficiente para decir que existe una relación significativa entre las variables. En este caso, el valor de pvalue es 3.7481e-09, que es muy pequeño y sugiere que hay una relación significativa entre la longitud del pico y la masa del pingüino.stderr y intercept_stderr: representan el error estándar de la pendiente y el intercepto, respectivamente. Indican cuánto varía la pendiente y el intercepto en diferentes muestras de datos. En este caso, valores más pequeños indican que el ajuste del modelo es más preciso y confiable.Analisis de Regresion Simple
Permite medir la fuerza del efecto en los datos mediante el ajuste de una linea recta. Es mucho mas efectivo para interpretar el comportamiento de los datos.
res_1 = scipy.stats.linregress(x=x1, y=y1) res_2 = scipy.stats.linregress(x=x2, y=y2) print(res_1, res_2, sep='\n')
#grafica de la longitud en funcion del ancho del pico sns.scatterplot( data=preprocessed_penguins_df, x='bill_length_mm', y='bill_depth_mm' ) #calculo de la regresion lineal res_penguins = scipy.stats.linregress( x=preprocessed_penguins_df.bill_length_mm, y=preprocessed_penguins_df.bill_depth_mm ) print(res_penguins) #grafico de la linea utilizando los parametros dados por la regresion fx_1 = np.array([preprocessed_penguins_df.bill_length_mm.min(), preprocessed_penguins_df.bill_length_mm.max()]) fy_1 = res_penguins.intercept + res_penguins.slope*fx_1 plt.plot(fx_1, fy_1)
sns.lmplot( data=preprocessed_penguins_df, x='bill_length_mm', y='bill_depth_mm' )
¿Por qué usas la data preporcesada en lugar de la ya procesada?
ah si.. Solo fue un error en el nombre... pero la data que utilizo es la procesada. Saludos
Ese factor que nos está faltando al momento de hacer la gráfica es la segmentación por los distintos tipos de pingüinos.
Spoiler Alert! jejeje
A pesar de que lo que dice el profe es cierto, el resultado 2 tiene mayor impacto en Y (variable dependiente), esto tampoco quiere decir que sea mejor para predecir o incluir en un modelo ya que solo te habla del impacto, si se fijan en el rvalue que es la metrica que te dice cuanto la regresion (la recta que ajustamos a los datos) capta la variabilidad de los datos es menor con respecto al resultado 1, esto quiere decir que un valor de X usando la variable de mayor impacto puede tener muchos valores en Y y terminar solapandose con otros valores de X que tambien tienen ese valor de Y. Lo cual para un modelo no es bueno al momento de predecir.
Gracias por tu analisis!
esto me estanco por que no me salia el grafico de la pendiente ?
df_penguis=( df_penguis .dropna() )
Con Seaborn la vida es mucho más feliz. Acá el motivo:
sns.lmplot( data=neo_pre_df_peng, x='bill_length_mm', y='bill_depth_mm', hue='species', height=10 ) plt.show()
si confirmo
sns.scatterplot( x=x1, y=y1 ) fx_1=np.array([x1.min(), x1.max()]) fy_1=res_1.intercept + res_1.slope * fx_1
plt.plot(fx_1, fy_1)
sns.scatterplot( x=x2, y=y2 ) fx_2=np.array([x2.min(), x2.max()]) fy_2=res_2.intercept + res_2.slope * fx_2
plt.plot(fx_2, fy_2)
plt.legend(labels=["1","2", "1","2"])
Tengo una duda desde hace ya como mas de 10 clases de este curso, y es respecto al analisis que estamos realizando del dataset en su conjunto, ya descubrimos hace mucho que hay tendencia cuando analizamos de manera separada por especie de pinguino, incluso tambien descubrimos que habian distribuciones normales cuando separamos por especie, mas tenemos una binomial cuando analizamos en conjunto.
Mi duda:
Pregunto porque se que es un analisis en un ambiente controlado y que quizas para hacerlo mas didactico y evitar quejas como en el anterior o que la gente se pierda se estara realizando asi, pero yo quiero poner el chip de las buenas practicas profesionales de una vez y siento que hay pasos que estan redundando y/o que podrian omitirse.
Es lo bonito del EDA. Para responder a tu pregunta:
Una Excelente frase que encontré en un libro decía: Si un médico analizará tu salud en datos, ¿Qué buscaría? Los días que estuviste bien, mal o toda la información, en búsqueda de los patrones de comportamiento de una posible enfermedad. Todo depende de lo que se necesite
En efecto, te entiendo perfectamente, en el caso ideal de contar con tiempo, equipo y recursos ilimitados yo y muchos otros claramente nos tomariamos quizas dias, semanas, meses, años. decadas, siglos, milenios, en un solo analisis, la cuestion es que la mayoria de los casos de analisis no parten de un caso ideal en que podamos invertir tanto tiempo explorando un solo caso a profundidad, siempre es mejor tener una hipotesis en base a menos exploracion (entiendase menos informacion como el 99.99% de informacion hacia abajo) que ninguna hipotesis. Por eso debe haber una manera organica en que se consiga un punto optimo en cuanto a productividad por tiempo invertido en el analisis.
https://platzi.com/clases/1749-gestion-tiempo/24664-soy-productivo/
Slope es la pendiente o inclinación de la recta. Entre mayor sea la pendiente, mayor es el cambio en Y si cambia X.
Recuerden la ecuación de la recta: y = mx + b
m = slope b = intercept
💡 Slope = Pendiente
sns.lmplot( data=processed_penguins_df, x='bill_length_mm', y='bill_depth_mm', hue='species', aspect=3/2 )
Los Gentoo y Chinstrap tienen mayor correlacion entre largo-alto del pico al igual de tener mayor fuerza de efecto
adelie_data = processed_penguins_df[(processed_penguins_df['species'] == 'Adelie') ] gentoo_data = processed_penguins_df[(processed_penguins_df['species'] == 'Gentoo') ] chinstrap_data = processed_penguins_df[(processed_penguins_df['species'] == 'Chinstrap') ] lr1 = scipy.stats.linregress(x=adelie_data.bill_length_mm, y=adelie_data.bill_depth_mm) lr2 = scipy.stats.linregress(x=gentoo_data.bill_length_mm, y=gentoo_data.bill_depth_mm) lr3 = scipy.stats.linregress(x=chinstrap_data.bill_length_mm, y=chinstrap_data.bill_depth_mm) print(lr1,lr2,lr3, sep='\n')
Hice mi análisis de correlación entre body_mass y flipper_length. Este fue el resultado:
Según los resultados Chinstrap es la especie con más correlación.
Adelie slope=0.006610 Gento slope=0.009340 Chinstrap slope=0.011905
Pero hay algo que no termino de comprender, se supone que entre más cercano a 1, más correlacionados están. Pero en los 3 casos, estos se acercan más a 0. Pero cómo se muestra en la gráfica, en los 3 casos hay una relación evidente.
¿Qué puede estar pasando allí? Alguien me podría explicar?
sns.FacetGrid( processed_penguins_df, col= 'species', hue = 'species' ).map(sns.regplot, 'body_mass_g', 'flipper_length_mm', scatter_kws={'alpha':0.3} ) adelie = processed_penguins_df[processed_penguins_df['species'] == 'Adelie'] gentoo = processed_penguins_df[processed_penguins_df['species'] == 'Gentoo'] chinstrap = processed_penguins_df[processed_penguins_df['species'] == 'Chinstrap'] ade = scipy.stats.linregress(x = adelie['body_mass_g'], y = adelie['flipper_length_mm']) gen = scipy.stats.linregress(x = gentoo['body_mass_g'], y = gentoo['flipper_length_mm']) chin = scipy.stats.linregress(x = chinstrap['body_mass_g'], y = chinstrap['flipper_length_mm']) print(ade, gen, chin, sep='\n')
Viendolo a simple vista parece que tiene que ver con las unidades. escalando el data set quizas se corrige un poco? mientras que la x se mueve aproximadamente 2000 unidades, la y solo se mueve 20 o 30, encontraste una respuesta a tu pregunta?
⚠️ Es recomendable normalizar y escalar las variables antes de realizar cualquier tipo de análisis estadístico o de aprendizaje automático para garantizar resultados precisos y confiables.
La ultima grafica que hizo pierde sentido, ya que utilizo todos los pinguinos. Lo mejor hubiera sido dividirlo por especies.
20. Estableciendo relaciones: análisis de regresión simple
¿Cómo calcular la fuerza del efecto?
Con la regresión lineal
Escogí las variables de peso del pingüino y tamaño de alas, al hacer la regresión lineal encuentro una correlación alta con un slope bajo y al intercambiar las variables queda la misma correlación, pero el slope es mayor porque el impacto del peso es mayor.
sns.scatterplot( # Gráfico de dispersión data=processed_penguins_df, x='body_mass_g', y='flipper_length_mm' ) res_penguins = scipy.stats.linregress( # Regresión lineal x=processed_penguins_df['body_mass_g'], y=processed_penguins_df['flipper_length_mm'] ) print(res_penguins) fx_1 = np.array([processed_penguins_df['body_mass_g'].min(), processed_penguins_df['body_mass_g'].max()]) # Rango de valores para x fy_1 = res_penguins.intercept + res_penguins.slope * fx_1 # Rango de valores para y plt.plot(fx_1, fy_1) sns.lmplot( # Gráfico de dispersión con regresión lineal data=processed_penguins_df, x='body_mass_g', y='flipper_length_mm' )
Valores obtenidos en el análisis de regresión simple:
Aqui hice la grafica de regresion lineal por cada una de las variables categoricas.
considero que si hay relacion de la forma de los picos como vemos en la grafica se separan por especie
Esta es la regresion lineal entre el peso y la extension del ala.
