Curso de Análisis Exploratorio de Datos
Clase 20 / 28
Aquí dejo la correlación si se pudiera ver por especie, revelando que la tendencia es positiva en todas las especies de pingüino.
sns.lmplot(
data=processed_penguins_df,
x='bill_length_mm',
y='bill_depth_mm',
height=10,
hue='species'
)
sns.scatterplot(x=x1, y=y1)
fx1 = np.array([x1.min(), x1.max()])
fy1 = r1.intercept + r1.slope * fx1
plt.plot(fx1, fy1)
sns.scatterplot(x=x2, y=y2)
fx2 = np.array([x2.min(), x2.max()])
fy2 = r2.intercept + r2.slope * fx2
plt.plot(fx2, fy2)
plt.legend(["1", "1","2","2"])
sns.scatterplot(preprocessed, x="bill_length_mm", y="bill_depth_mm")
res_penguins = scipy.stats.linregress(x=preprocessed.bill_length_mm, y=preprocessed.bill_depth_mm)
print(res_penguins)
fx1 = np.array([preprocessed.bill_length_mm.min(), preprocessed.bill_length_mm.max()])
fy1 = res_penguins.intercept + res_penguins.slope * fx1
plt.plot(fx1,fy1)
slope: representa la pendiente de la línea de regresión. Indica cuánto cambia la variable dependiente por unidad de cambio en la variable independiente. En este caso, un aumento de una unidad en la longitud del pico se asocia con un aumento de 0.0119 en la masa del pingüino.intercept: representa el valor de la variable dependiente cuando la variable independiente es igual a cero. En este caso, el intercepto indica la masa del pingüino cuando la longitud del pico es cero, lo que no tiene mucho sentido en términos prácticos.rvalue: representa el coeficiente de correlación entre las dos variables. Indica cuánto se ajustan los datos a la línea de regresión. El valor de rvalue oscila entre -1 y 1, y un valor cercano a 1 indica una correlación positiva fuerte entre las variables. En este caso, el valor de rvalue es 0.6416, lo que indica una correlación moderadamente fuerte entre la longitud del pico y la masa del pingüino.pvalue: representa el valor p asociado a la hipótesis nula de que no hay relación entre las dos variables. Un valor p pequeño (generalmente < 0.05) indica que la hipótesis nula puede ser rechazada y que hay evidencia suficiente para decir que existe una relación significativa entre las variables. En este caso, el valor de pvalue es 3.7481e-09, que es muy pequeño y sugiere que hay una relación significativa entre la longitud del pico y la masa del pingüino.stderr y intercept_stderr: representan el error estándar de la pendiente y el intercepto, respectivamente. Indican cuánto varía la pendiente y el intercepto en diferentes muestras de datos. En este caso, valores más pequeños indican que el ajuste del modelo es más preciso y confiable.Permite medir la fuerza del efecto en los datos mediante el ajuste de una linea recta. Es mucho mas efectivo para interpretar el comportamiento de los datos.
res_1 = scipy.stats.linregress(x=x1, y=y1)
res_2 = scipy.stats.linregress(x=x2, y=y2)
print(res_1, res_2, sep='\n')
#grafica de la longitud en funcion del ancho del pico
sns.scatterplot(
data=preprocessed_penguins_df,
x='bill_length_mm',
y='bill_depth_mm'
)
#calculo de la regresion lineal
res_penguins = scipy.stats.linregress(
x=preprocessed_penguins_df.bill_length_mm,
y=preprocessed_penguins_df.bill_depth_mm
)
print(res_penguins)
#grafico de la linea utilizando los parametros dados por la regresion
fx_1 = np.array([preprocessed_penguins_df.bill_length_mm.min(), preprocessed_penguins_df.bill_length_mm.max()])
fy_1 = res_penguins.intercept + res_penguins.slope*fx_1
plt.plot(fx_1, fy_1)
sns.lmplot(
data=preprocessed_penguins_df,
x='bill_length_mm',
y='bill_depth_mm'
)
Ese factor que nos está faltando al momento de hacer la gráfica es la segmentación por los distintos tipos de pingüinos.
A pesar de que lo que dice el profe es cierto, el resultado 2 tiene mayor impacto en Y (variable dependiente), esto tampoco quiere decir que sea mejor para predecir o incluir en un modelo ya que solo te habla del impacto, si se fijan en el rvalue que es la metrica que te dice cuanto la regresion (la recta que ajustamos a los datos) capta la variabilidad de los datos es menor con respecto al resultado 1, esto quiere decir que un valor de X usando la variable de mayor impacto puede tener muchos valores en Y y terminar solapandose con otros valores de X que tambien tienen ese valor de Y. Lo cual para un modelo no es bueno al momento de predecir.
esto me estanco por que no me salia el grafico de la pendiente ?
SOLUCION :
manejar los valores en blanco
df_penguis=(
df_penguis
.dropna()
)
Con Seaborn la vida es mucho más feliz. Acá el motivo:
sns.lmplot(
data=neo_pre_df_peng,
x='bill_length_mm',
y='bill_depth_mm',
hue='species',
height=10
)
plt.show()
sns.scatterplot( x=x1, y=y1 ) fx_1=np.array([x1.min(), x1.max()]) fy_1=res_1.intercept + res_1.slope * fx_1
plt.plot(fx_1, fy_1)
sns.scatterplot( x=x2, y=y2 ) fx_2=np.array([x2.min(), x2.max()]) fy_2=res_2.intercept + res_2.slope * fx_2
plt.plot(fx_2, fy_2)
plt.legend(labels=["1","2", "1","2"])
Tengo una duda desde hace ya como mas de 10 clases de este curso, y es respecto al analisis que estamos realizando del dataset en su conjunto, ya descubrimos hace mucho que hay tendencia cuando analizamos de manera separada por especie de pinguino, incluso tambien descubrimos que habian distribuciones normales cuando separamos por especie, mas tenemos una binomial cuando analizamos en conjunto.
Mi duda:
Pregunto porque se que es un analisis en un ambiente controlado y que quizas para hacerlo mas didactico y evitar quejas como en el anterior o que la gente se pierda se estara realizando asi, pero yo quiero poner el chip de las buenas practicas profesionales de una vez y siento que hay pasos que estan redundando y/o que podrian omitirse.
Eduardo Hoppenstedt
Profesor
Miguel Sánchez Guerrero
Juan R. Vergara M.
👍
Adolfo Sebastián Jara Gavilanes
FELIX DAVID CORDOVA GARCIA
gracias¡¡
Juan R. Vergara M.
Excelente 🥇
Naren Fragozo
slope: representa la pendiente de la línea de regresión. Indica cuánto cambia la variable dependiente por unidad de cambio en la variable independiente. En este caso, un aumento de una unidad en la longitud del pico se asocia con un aumento de 0.0119 en la masa del pingüino.intercept: representa el valor de la variable dependiente cuando la variable independiente es igual a cero. En este caso, el intercepto indica la masa del pingüino cuando la longitud del pico es cero, lo que no tiene mucho sentido en términos prácticos.rvalue: representa el coeficiente de correlación entre las dos variables. Indica cuánto se ajustan los datos a la línea de regresión. El valor de rvalue oscila entre -1 y 1, y un valor cercano a 1 indica una correlación positiva fuerte entre las variables. En este caso, el valor de rvalue es 0.6416, lo que indica una correlación moderadamente fuerte entre la longitud del pico y la masa del pingüino.pvalue: representa el valor p asociado a la hipótesis nula de que no hay relación entre las dos variables. Un valor p pequeño (generalmente < 0.05) indica que la hipótesis nula puede ser rechazada y que hay evidencia suficiente para decir que existe una relación significativa entre las variables. En este caso, el valor de pvalue es 3.7481e-09, que es muy pequeño y sugiere que hay una relación significativa entre la longitud del pico y la masa del pingüino.stderr y intercept_stderr: representan el error estándar de la pendiente y el intercepto, respectivamente. Indican cuánto varía la pendiente y el intercepto en diferentes muestras de datos. En este caso, valores más pequeños indican que el ajuste del modelo es más preciso y confiable.
Jeinfferson Bernal G
Christian Rangel
¿Por qué usas la data preporcesada en lugar de la ya procesada?
Jeinfferson Bernal G
ah si.. Solo fue un error en el nombre... pero la data que utilizo es la procesada. Saludos
Rubén Cuello
Ese factor que nos está faltando al momento de hacer la gráfica es la segmentación por los distintos tipos de pingüinos.
Christian Rangel
Spoiler Alert! jejeje
Yonaikel M. Delgado N.
A pesar de que lo que dice el profe es cierto, el resultado 2 tiene mayor impacto en Y (variable dependiente), esto tampoco quiere decir que sea mejor para predecir o incluir en un modelo ya que solo te habla del impacto, si se fijan en el rvalue que es la metrica que te dice cuanto la regresion (la recta que ajustamos a los datos) capta la variabilidad de los datos es menor con respecto al resultado 1, esto quiere decir que un valor de X usando la variable de mayor impacto puede tener muchos valores en Y y terminar solapandose con otros valores de X que tambien tienen ese valor de Y. Lo cual para un modelo no es bueno al momento de predecir.
Diego Jurado
Gracias por tu analisis!
jhon velasque
esto me estanco por que no me salia el grafico de la pendiente ?
df_penguis=( df_penguis .dropna() )
Antonio Demarco Bonino
Con Seaborn la vida es mucho más feliz. Acá el motivo:
sns.lmplot( data=neo_pre_df_peng, x='bill_length_mm', y='bill_depth_mm', hue='species', height=10 ) plt.show()
jhon velasque
si confirmo
Daniel Santiago Quiroga Godoy
sns.scatterplot( x=x1, y=y1 ) fx_1=np.array([x1.min(), x1.max()]) fy_1=res_1.intercept + res_1.slope * fx_1
plt.plot(fx_1, fy_1)
sns.scatterplot( x=x2, y=y2 ) fx_2=np.array([x2.min(), x2.max()]) fy_2=res_2.intercept + res_2.slope * fx_2
plt.plot(fx_2, fy_2)
plt.legend(labels=["1","2", "1","2"])
Alfonso Andres Zapata Guzman
Tengo una duda desde hace ya como mas de 10 clases de este curso, y es respecto al analisis que estamos realizando del dataset en su conjunto, ya descubrimos hace mucho que hay tendencia cuando analizamos de manera separada por especie de pinguino, incluso tambien descubrimos que habian distribuciones normales cuando separamos por especie, mas tenemos una binomial cuando analizamos en conjunto.
Mi duda:
Pregunto porque se que es un analisis en un ambiente controlado y que quizas para hacerlo mas didactico y evitar quejas como en el anterior o que la gente se pierda se estara realizando asi, pero yo quiero poner el chip de las buenas practicas profesionales de una vez y siento que hay pasos que estan redundando y/o que podrian omitirse.
Erick Rosero
Es lo bonito del EDA. Para responder a tu pregunta:
Una Excelente frase que encontré en un libro decía: Si un médico analizará tu salud en datos, ¿Qué buscaría? Los días que estuviste bien, mal o toda la información, en búsqueda de los patrones de comportamiento de una posible enfermedad. Todo depende de lo que se necesite
Alfonso Andres Zapata Guzman
José Rodrigo Arana Hi
Slope es la pendiente o inclinación de la recta. Entre mayor sea la pendiente, mayor es el cambio en Y si cambia X.
Recuerden la ecuación de la recta: y = mx + b
m = slope b = intercept
Leandro Tenjo
💡 Slope = Pendiente
Bryan Carvajal
sns.lmplot( data=processed_penguins_df, x='bill_length_mm', y='bill_depth_mm', hue='species', aspect=3/2 )
Bryan Carvajal
Andres Martin
considero que si hay relacion de la forma de los picos como vemos en la grafica se separan por especie
Eduard Giraldo Martínez
Tomas Filippo
Viendolo a simple vista parece que tiene que ver con las unidades. escalando el data set quizas se corrige un poco? mientras que la x se mueve aproximadamente 2000 unidades, la y solo se mueve 20 o 30, encontraste una respuesta a tu pregunta?
Naren Fragozo
⚠️ Es recomendable normalizar y escalar las variables antes de realizar cualquier tipo de análisis estadístico o de aprendizaje automático para garantizar resultados precisos y confiables.
Mauro Benito Montoya Arenas
La ultima grafica que hizo pierde sentido, ya que utilizo todos los pinguinos. Lo mejor hubiera sido dividirlo por especies.
Andres Sanchez
20. Estableciendo relaciones: análisis de regresión simple
¿Cómo calcular la fuerza del efecto?
Con la regresión lineal
Escogí las variables de peso del pingüino y tamaño de alas, al hacer la regresión lineal encuentro una correlación alta con un slope bajo y al intercambiar las variables queda la misma correlación, pero el slope es mayor porque el impacto del peso es mayor.
sns.scatterplot( # Gráfico de dispersión data=processed_penguins_df, x='body_mass_g', y='flipper_length_mm' ) res_penguins = scipy.stats.linregress( # Regresión lineal x=processed_penguins_df['body_mass_g'], y=processed_penguins_df['flipper_length_mm'] ) print(res_penguins) fx_1 = np.array([processed_penguins_df['body_mass_g'].min(), processed_penguins_df['body_mass_g'].max()]) # Rango de valores para x fy_1 = res_penguins.intercept + res_penguins.slope * fx_1 # Rango de valores para y plt.plot(fx_1, fy_1) sns.lmplot( # Gráfico de dispersión con regresión lineal data=processed_penguins_df, x='body_mass_g', y='flipper_length_mm' )
Christian Rangel
Valores obtenidos en el análisis de regresión simple:
Jhon Alexander Mosquera Vanegas
La clase muestra por qué una correlación alta no basta para decidir. Una serie con correlación mayor tenía pendiente 0,1; otra más dispersa, con correlación menor, tenía 0,54, es decir, cinco veces más efecto. Si el eje Y fuera dinero, como propone el profesor, la segunda sería la palanca que mueve el resultado. Con presupuestos limitados, la pregunta del analista no es solo qué variable se relaciona más con el resultado, sino cuánto cambia el resultado por cada unidad de esfuerzo. Esa respuesta la da la pendiente, no el coeficiente.
Luis Orna
Luis Orna
Aqui hice la grafica de regresion lineal por cada una de las variables categoricas.
Aquí dejo la correlación si se pudiera ver por especie, revelando que la tendencia es positiva en todas las especies de pingüino.
sns.lmplot( data=processed_penguins_df, x='bill_length_mm', y='bill_depth_mm', height=10, hue='species' )
Resolviéndolo 'manualmente':
species_df = processed_penguins_df.set_index('species') adelie_df= species_df.loc[['Adelie']] gentoo_df= species_df.loc[['Gentoo']] chinstrap_df= species_df.loc[['Chinstrap']] sns.scatterplot( data=processed_penguins_df, x='bill_length_mm', y='bill_depth_mm', hue='species' ) res_adelie= scipy.stats.linregress( x=adelie_df.bill_length_mm, y=adelie_df.bill_depth_mm ) fx1= np.array([adelie_df.bill_length_mm.min(), adelie_df.bill_length_mm.max()]) fy1= res_adelie.intercept + res_adelie.slope * fx1 plt.plot(fx1, fy1) res_gentoo= scipy.stats.linregress( x=gentoo_df.bill_length_mm, y=gentoo_df.bill_depth_mm ) fx2= np.array([gentoo_df.bill_length_mm.min(), gentoo_df.bill_length_mm.max()]) fy2= res_gentoo.intercept + res_gentoo.slope * fx2 plt.plot(fx2, fy2) res_chinstrap= scipy.stats.linregress( x=chinstrap_df.bill_length_mm, y=chinstrap_df.bill_depth_mm ) fx3= np.array([chinstrap_df.bill_length_mm.min(), chinstrap_df.bill_length_mm.max()]) fy3= res_chinstrap.intercept + res_chinstrap.slope * fx3 plt.plot(fx3, fy3)
sns.scatterplot(x=x1, y=y1) fx1 = np.array([x1.min(), x1.max()]) fy1 = r1.intercept + r1.slope * fx1 plt.plot(fx1, fy1) sns.scatterplot(x=x2, y=y2) fx2 = np.array([x2.min(), x2.max()]) fy2 = r2.intercept + r2.slope * fx2 plt.plot(fx2, fy2) plt.legend(["1", "1","2","2"])
sns.scatterplot(preprocessed, x="bill_length_mm", y="bill_depth_mm") res_penguins = scipy.stats.linregress(x=preprocessed.bill_length_mm, y=preprocessed.bill_depth_mm) print(res_penguins) fx1 = np.array([preprocessed.bill_length_mm.min(), preprocessed.bill_length_mm.max()]) fy1 = res_penguins.intercept + res_penguins.slope * fx1 plt.plot(fx1,fy1)
Analisis de Regresion Simple
Permite medir la fuerza del efecto en los datos mediante el ajuste de una linea recta. Es mucho mas efectivo para interpretar el comportamiento de los datos.
res_1 = scipy.stats.linregress(x=x1, y=y1) res_2 = scipy.stats.linregress(x=x2, y=y2) print(res_1, res_2, sep='\n')
#grafica de la longitud en funcion del ancho del pico sns.scatterplot( data=preprocessed_penguins_df, x='bill_length_mm', y='bill_depth_mm' ) #calculo de la regresion lineal res_penguins = scipy.stats.linregress( x=preprocessed_penguins_df.bill_length_mm, y=preprocessed_penguins_df.bill_depth_mm ) print(res_penguins) #grafico de la linea utilizando los parametros dados por la regresion fx_1 = np.array([preprocessed_penguins_df.bill_length_mm.min(), preprocessed_penguins_df.bill_length_mm.max()]) fy_1 = res_penguins.intercept + res_penguins.slope*fx_1 plt.plot(fx_1, fy_1)
sns.lmplot( data=preprocessed_penguins_df, x='bill_length_mm', y='bill_depth_mm' )
En efecto, te entiendo perfectamente, en el caso ideal de contar con tiempo, equipo y recursos ilimitados yo y muchos otros claramente nos tomariamos quizas dias, semanas, meses, años. decadas, siglos, milenios, en un solo analisis, la cuestion es que la mayoria de los casos de analisis no parten de un caso ideal en que podamos invertir tanto tiempo explorando un solo caso a profundidad, siempre es mejor tener una hipotesis en base a menos exploracion (entiendase menos informacion como el 99.99% de informacion hacia abajo) que ninguna hipotesis. Por eso debe haber una manera organica en que se consiga un punto optimo en cuanto a productividad por tiempo invertido en el analisis.
https://platzi.com/clases/1749-gestion-tiempo/24664-soy-productivo/
Los Gentoo y Chinstrap tienen mayor correlacion entre largo-alto del pico al igual de tener mayor fuerza de efecto
adelie_data = processed_penguins_df[(processed_penguins_df['species'] == 'Adelie') ] gentoo_data = processed_penguins_df[(processed_penguins_df['species'] == 'Gentoo') ] chinstrap_data = processed_penguins_df[(processed_penguins_df['species'] == 'Chinstrap') ] lr1 = scipy.stats.linregress(x=adelie_data.bill_length_mm, y=adelie_data.bill_depth_mm) lr2 = scipy.stats.linregress(x=gentoo_data.bill_length_mm, y=gentoo_data.bill_depth_mm) lr3 = scipy.stats.linregress(x=chinstrap_data.bill_length_mm, y=chinstrap_data.bill_depth_mm) print(lr1,lr2,lr3, sep='\n')
Hice mi análisis de correlación entre body_mass y flipper_length. Este fue el resultado:
Según los resultados Chinstrap es la especie con más correlación.
Adelie slope=0.006610 Gento slope=0.009340 Chinstrap slope=0.011905
Pero hay algo que no termino de comprender, se supone que entre más cercano a 1, más correlacionados están. Pero en los 3 casos, estos se acercan más a 0. Pero cómo se muestra en la gráfica, en los 3 casos hay una relación evidente.
¿Qué puede estar pasando allí? Alguien me podría explicar?
sns.FacetGrid( processed_penguins_df, col= 'species', hue = 'species' ).map(sns.regplot, 'body_mass_g', 'flipper_length_mm', scatter_kws={'alpha':0.3} ) adelie = processed_penguins_df[processed_penguins_df['species'] == 'Adelie'] gentoo = processed_penguins_df[processed_penguins_df['species'] == 'Gentoo'] chinstrap = processed_penguins_df[processed_penguins_df['species'] == 'Chinstrap'] ade = scipy.stats.linregress(x = adelie['body_mass_g'], y = adelie['flipper_length_mm']) gen = scipy.stats.linregress(x = gentoo['body_mass_g'], y = gentoo['flipper_length_mm']) chin = scipy.stats.linregress(x = chinstrap['body_mass_g'], y = chinstrap['flipper_length_mm']) print(ade, gen, chin, sep='\n')