Curso de Análisis Exploratorio de Datos
Clase 19 / 28
El código que corresponde a El coeficiente de correlación no nos habla del impacto de la relación
np.random.seed(42)
x1 = np.linspace(0,100,100)
y1 = 0.1* x1 +3 + np.random.uniform(-2,2,size=x1.size)
sns.scatterplot(x=x1, y=y1)
x2 = np.linspace(0,100,100)
y2 = 0.5* x1 +1 + np.random.uniform(0,60,size=x2.size)
sns.scatterplot(x=x2, y=y2)
plt.legend(["1","2"])
print(np.corrcoef(x1,y1))
print(np.corrcoef(x2,y2))
No sabía que el coeficiente de Pearson era solo para relación lineal entre variables. Esto me hace re-pensar la forma en que he diseñado y analizado los resultados de muchas investigaciones.
Teniendo en cuenta el análisis anterior que realizamos sobre las correlaciones de las variables
Nos enfocamos en la correlación negativa que surge entre las variables bill_length_mm y bill_depth_mm.
Si graficamos las variables en un diagrama de dispersión, nos encontramos con una dispersión que aparenta una tendencia a una correlación inexistente.
Teniendo en cuenta que estamos frente a un gráfico donde se presentan 3 variables categóricas que no fueron clasificadas (sexo del pingüino, especie e isla donde habita), analizaremos el gráfico clasificando los pingüinos por especie
Clasificadas las variables podemos analizar que si existe correlación alguna que aparenta ser de tipo lineal entre las variablesbill_length_mm y bill_depth_mm.
Vista la nueva evidencia volveremos a analizar los índices de correlaciones de cada especie.
Vista la nueva gráfica vemos un cambio notable en las correlaciones entre las variables, quedando en su mayoría correlaciones positivas y destacando de todas el año, que en las tres especies aparenta ser una correlación nula
Las variables que anteriormente mencionamos bill_length_mm y bill_depth_mm, ahora tienen una correlación positiva alta tanto en las especies Gentoo y Chinstrap, pero destaca la especie Adelie que tiene una correlación un poco menor que las otras especies
Pasaremos a analizar más a fondo la especie Adelie, ya que no parece seguir el patron normal que tienen las otras especies. El análisis de correlaciones se enfocará en la especie Adelies separados por isla.
Solo nos ayuda a determinar la posible existencia de una correlación lineal; sin embargo, su ausencia no significa que no exista otro tipo de correlación.
El scatterplot que vemos aquí está correlacionando los datos "bill_length_mm", y "bill_depth_mm" de TODO el dataframe que llamamos "processed_penguins_df". Recordemos que en este dataframe están involucrados 3 clases diferentes de pinguinos, ['Adelie', 'Gentoo', 'Chinstrap'], y todos los datos de las 3 especies se están mezclando entre sí en un mismo scatterplot por lo cual tiene sentido el caos que se está creando en la gráfica de distribucion.
Aquí les dejo el codigo que muestra la correlacion de cada especie en tres gráficos independientes uno al lado del otro donde se puede apreciar más claramente la correlacion que tienen los datos...
sns.FacetGrid(
processed_penguins_df,
col = 'species',
hue= 'species'
).map(sns.scatterplot,
'bill_length_mm',
'bill_depth_mm',
alpha= 1/2,
s= 100
)
Mide la relación lineal entre dos variables continuas. Varía entre -1 y 1, donde 1 indica una correlación positiva perfecta, 0 indica no correlación y -1 indica una correlación negativa perfecta. Funciona mejor para relaciones lineales.
Mide la relación monotónica entre dos variables continuas u ordinales. Varía entre -1 y 1, donde 1 indica una correlación positiva perfecta, 0 indica no correlación y -1 indica una correlación negativa perfecta. Funciona mejor para relaciones no lineales o variables ordinales.
Mide la proporción de la varianza en una variable que puede ser explicada por otra variable. Varía entre 0 y 1, donde 0 indica que la variable explicativa no explica la variación en la variable de respuesta y 1 indica que la variable explicativa explica toda la variación en la variable de respuesta. Funciona mejor para relaciones lineales.
Mide la relación ordinal entre dos variables. Varía entre -1 y 1, donde 1 indica una correlación positiva perfecta, 0 indica no correlación y -1 indica una correlación negativa perfecta. Funciona mejor para relaciones no lineales o variables ordinales.
Mide la relación entre una variable binaria y una variable continua. Varía entre -1 y 1, donde 1 indica una correlación positiva perfecta, 0 indica no correlación y -1 indica una correlación negativa perfecta. Funciona mejor para relaciones lineales.
Mide la relación entre dos variables binarias. Varía entre -1 y 1, donde 1 indica una correlación positiva perfecta, 0 indica no correlación y -1 indica una correlación negativa perfecta. Funciona mejor para relaciones no lineales o variables nominales.
Mide la relación entre dos variables nominales. Varía entre 0 y 1, donde 0 indica no correlación y 1 indica una correlación perfecta. Funciona mejor para relaciones no lineales o variables nominales.
El gráfico cambian bastante cuando segmentamos nuestros datos por especie.
++Limitantes del coeficiente de correlacipon lineal de Pearson:++
No contempla otro tipo de correlación que no sea lineal, es decir puede existir una correlación no lineal y no será detectado.
Se pueden obtener coeficientes altos y no significa en todos los casos una relación lineal. Ej. Relación de función cúbica.
No habla del impacto de la correlación. Puede exitir una correlación con mayor impacto para nuestro modelo de negocio, y tener un coeficiente moderado.
En todo caso se recomienda siempre visualizar los datos para hacer un mejor análisis con este coeficiente de correlación.
Amor Seaborn ¿Por qué? Velo tu mismo...
sns.scatterplot(
data=neo_pre_df_peng,
x='bill_length_mm',
y='bill_depth_mm',
hue='species',
style='island'
)
print(np.corrcoef(x,y))
plt.show()
Hasta el momento, por la representación gráfica no creo que haya una correlación lineal entre la longitud y profundidad del pico.
Los coeficientes de correlación lineal, como el coeficiente de correlación de Pearson, son útiles para medir la relación lineal entre dos variables numéricas. Sin embargo, tienen algunas limitaciones y existen otros tipos de correlación que pueden abordar estas limitaciones. A continuación, se presentan los principales tipos de correlación y sus ventajas y desventajas:
Comparando los Adelie que habitan la isla Torgersen y Dream podemos ver que tienen una correlación similar entre sus variables
Pero destacan los Adelie en la isla Biscoe que presentan una correlación positiva fuerte entre la variable bill_length_mm y las demás variables, pero una correlación negativa sobre la combinación de la variable bill_depth_mm .
Es importante seleccionar el tipo de correlación adecuado según las características de las variables y la naturaleza de la relación que se busca capturar. En algunos casos, también es recomendable utilizar técnicas de visualización y análisis exploratorio para comprender mejor la relación entre las variables antes de aplicar medidas de correlación.