Contenido del curso
Limitantes de los coeficientes de correlación lineal
Adolfo Sebastián Jara Gavilanes
student
Gibran Eduardo Hernandez Vilchis
student
Jeinfferson Bernal G
student
Eduardo Hoppenstedt
teacherJeinfferson Bernal G
student
Jorge Andres Alvarez Ore
student
Carlos Mazzaroli
student
Benjamín Cortés
student
Luis Enrique Lozano Mejía
studentJeinfferson Bernal G
student
Ruddy Ramos
student
Robinson Ochoa
student
Juan R. Vergara M.
student
Naren Fragozo
student
Rubén Cuello
student
Carol Raquel Torrez Santander
student
María Requenes Ramos
student
Antonio Demarco Bonino
student
Andres Sanchez
student
Pável Hernández Reza
student
Alvaro H. Ruiz V.
student
José Alejandro Montes Juarez
student
Andres Martin
studentRubén Cuello
student
Carlos Andrés Pinilla Castillo
student
Mauricio Escobar
student
Daniel Esponda
student
José Rodrigo Arana Hi
student
César Andrés Santana Gereda
student
Carlos Andrés
student
Marlon Marin
student
Gabriel Obregón
studentEl código que corresponde a El coeficiente de correlación no nos habla del impacto de la relación
np.random.seed(42) x1 = np.linspace(0,100,100) y1 = 0.1* x1 +3 + np.random.uniform(-2,2,size=x1.size) sns.scatterplot(x=x1, y=y1) x2 = np.linspace(0,100,100) y2 = 0.5* x1 +1 + np.random.uniform(0,60,size=x2.size) sns.scatterplot(x=x2, y=y2) plt.legend(["1","2"]) print(np.corrcoef(x1,y1)) print(np.corrcoef(x2,y2))
Muchas gracias buen hombre!!!
Gracias por el Aporte!
No sabía que el coeficiente de Pearson era solo para relación lineal entre variables. Esto me hace re-pensar la forma en que he diseñado y analizado los resultados de muchas investigaciones.
x2
Yo me preguntaba porque se usa tanto si solo es lineal, y las tendencias pueden ser de muchos más tipos como logarítmicas, polinomicas, exponenciales, etc.
Pequeño análisis que hice :), espero sus aportes para mejorarlo uwu
Teniendo en cuenta el análisis anterior que realizamos sobre las correlaciones de las variables
Nos enfocamos en la correlación negativa que surge entre las variables bill_length_mm y bill_depth_mm.
Si graficamos las variables en un diagrama de dispersión, nos encontramos con una dispersión que aparenta una tendencia a una correlación inexistente.
Teniendo en cuenta que estamos frente a un gráfico donde se presentan 3 variables categóricas que no fueron clasificadas (sexo del pingüino, especie e isla donde habita), analizaremos el gráfico clasificando los pingüinos por especie
Vista la nueva evidencia volveremos a analizar los índices de correlaciones de cada especie.
Vista la nueva gráfica vemos un cambio notable en las correlaciones entre las variables, quedando en su mayoría correlaciones positivas y destacando de todas el año, que en las tres especies aparenta ser una correlación nula
Las variables que anteriormente mencionamos bill_length_mm y bill_depth_mm, ahora tienen una correlación positiva alta tanto en las especies Gentoo y Chinstrap, pero destaca la especie Adelie que tiene una correlación un poco menor que las otras especies
Pasaremos a analizar más a fondo la especie Adelie, ya que no parece seguir el patron normal que tienen las otras especies. El análisis de correlaciones se enfocará en la especie Adelies separados por isla.
Comparando los Adelie que habitan la isla Torgersen y Dream podemos ver que tienen una correlación similar entre sus variables
Pero destacan los Adelie en la isla Biscoe que presentan una correlación positiva fuerte entre la variable bill_length_mm y las demás variables, pero una correlación negativa sobre la combinación de la variable bill_depth_mm .
Concluimos que:
impresionante análisis, me encantó como lo fuiste llevando desde el principio hasta la conclusión, aclarando que variables tienen mayor y cuales casi no existe correlación.
Gran aporte y muy buenas gráficas lograste! 😁
Genio!!!!!
Limitantes del Coeficiente de Correlacion
Solo nos ayuda a determinar la posible existencia de una correlación lineal; sin embargo, su ausencia no significa que no exista otro tipo de correlación.
Gracias por el aporte.
El scatterplot que vemos aquí está correlacionando los datos "bill_length_mm", y "bill_depth_mm" de TODO el dataframe que llamamos "processed_penguins_df". Recordemos que en este dataframe están involucrados 3 clases diferentes de pinguinos, ['Adelie', 'Gentoo', 'Chinstrap'], y todos los datos de las 3 especies se están mezclando entre sí en un mismo scatterplot por lo cual tiene sentido el caos que se está creando en la gráfica de distribucion.
Aquí les dejo el codigo que muestra la correlacion de cada especie en tres gráficos independientes uno al lado del otro donde se puede apreciar más claramente la correlacion que tienen los datos...
sns.FacetGrid( processed_penguins_df, col = 'species', hue= 'species' ).map(sns.scatterplot, 'bill_length_mm', 'bill_depth_mm', alpha= 1/2, s= 100 )
👍✔
Otros coeficientes de relación:
Coeficiente de correlación de Pearson
Mide la relación lineal entre dos variables continuas. Varía entre -1 y 1, donde 1 indica una correlación positiva perfecta, 0 indica no correlación y -1 indica una correlación negativa perfecta. Funciona mejor para relaciones lineales.
Coeficiente de correlación de Spearman
Mide la relación monotónica entre dos variables continuas u ordinales. Varía entre -1 y 1, donde 1 indica una correlación positiva perfecta, 0 indica no correlación y -1 indica una correlación negativa perfecta. Funciona mejor para relaciones no lineales o variables ordinales.
Coeficiente de determinación (R-squared)
Mide la proporción de la varianza en una variable que puede ser explicada por otra variable. Varía entre 0 y 1, donde 0 indica que la variable explicativa no explica la variación en la variable de respuesta y 1 indica que la variable explicativa explica toda la variación en la variable de respuesta. Funciona mejor para relaciones lineales.
Coeficiente de correlación de Kendall
Mide la relación ordinal entre dos variables. Varía entre -1 y 1, donde 1 indica una correlación positiva perfecta, 0 indica no correlación y -1 indica una correlación negativa perfecta. Funciona mejor para relaciones no lineales o variables ordinales.
Coeficiente de correlación de Point-Biserial
Mide la relación entre una variable binaria y una variable continua. Varía entre -1 y 1, donde 1 indica una correlación positiva perfecta, 0 indica no correlación y -1 indica una correlación negativa perfecta. Funciona mejor para relaciones lineales.
Coeficiente de correlación de Phi
Mide la relación entre dos variables binarias. Varía entre -1 y 1, donde 1 indica una correlación positiva perfecta, 0 indica no correlación y -1 indica una correlación negativa perfecta. Funciona mejor para relaciones no lineales o variables nominales.
Coeficiente de correlación de Cramer
Mide la relación entre dos variables nominales. Varía entre 0 y 1, donde 0 indica no correlación y 1 indica una correlación perfecta. Funciona mejor para relaciones no lineales o variables nominales.
El gráfico cambian bastante cuando segmentamos nuestros datos por especie.
++Limitantes del coeficiente de correlacipon lineal de Pearson:++
No contempla otro tipo de correlación que no sea lineal, es decir puede existir una correlación no lineal y no será detectado.
Se pueden obtener coeficientes altos y no significa en todos los casos una relación lineal. Ej. Relación de función cúbica.
No habla del impacto de la correlación. Puede exitir una correlación con mayor impacto para nuestro modelo de negocio, y tener un coeficiente moderado.
En todo caso se recomienda siempre visualizar los datos para hacer un mejor análisis con este coeficiente de correlación.
Buena aportación!
Amor Seaborn ¿Por qué? Velo tu mismo...
sns.scatterplot( data=neo_pre_df_peng, x='bill_length_mm', y='bill_depth_mm', hue='species', style='island' ) print(np.corrcoef(x,y)) plt.show()
19. Limitantes de los coeficientes de correlación lineal
Hasta el momento, por la representación gráfica no creo que haya una correlación lineal entre la longitud y profundidad del pico.
Los coeficientes de correlación lineal, como el coeficiente de correlación de Pearson, son útiles para medir la relación lineal entre dos variables numéricas. Sin embargo, tienen algunas limitaciones y existen otros tipos de correlación que pueden abordar estas limitaciones. A continuación, se presentan los principales tipos de correlación y sus ventajas y desventajas:
Es importante seleccionar el tipo de correlación adecuado según las características de las variables y la naturaleza de la relación que se busca capturar. En algunos casos, también es recomendable utilizar técnicas de visualización y análisis exploratorio para comprender mejor la relación entre las variables antes de aplicar medidas de correlación.
Siguiendo el ejemplo de Carlos Mazzaroli, les dejo aquí el código que hice para graficar la diferencia en la correlación lineal cuando se considera la variable 'species'.
fig, ax = plt.subplots(1, 2, figsize= (14, 6)) sns.regplot( ax= ax[0], data= pg, x= 'bill_length_mm', y= 'bill_depth_mm', scatter_kws= { 'alpha': 0.5 }, line_kws= { 'alpha': 0.8 } ) for i in pg.species.unique(): sns.regplot( ax=ax[1], data= pg[pg['species'] == i], x= 'bill_length_mm', y= 'bill_depth_mm', scatter_kws= { 'color': penguin_color[i], 'alpha': 0.5 }, line_kws={ 'linewidth': 2, 'color': penguin_color[i], 'alpha': 0.8 } ) fig.suptitle('Correlación entre las variables de las medidas "Longitud" y "Anchura" del pico') ax[0].set_title("Correlación lineal sin seccionar por especies") ax[1].set_title("Correlación lineal seccionando por especies") ax[0].set_xlabel('Longitud del pico', fontsize=12) ax[0].set_ylabel('Anchura del pico', fontsize=12) ax[1].set_xlabel('Longitud del pico', fontsize=12) ax[1].set_ylabel('Anchura del pico', fontsize=12)
-----------
Tome su LIKE buen hombre!
La correlación global NEGATIVA no refleja una relación real, dada la agregación de datos está sesgada por la mezcla de grupos (en este caso las especies).
Sin embargo, al segmentar por especie, la relación es POSITIVA en cada y en todos los casos.
Por tanto esta perfecto! es más adecuado interpretar las relaciones dentro de cada especie.
Cuando recien empezaba a ver estos temas en la facultad (en la facultad me lo enseñaron pero realmente nunca puse atencion y no aprendi bien), ese coeficiente yo lo interpretaba como: "Que tan bonita se ve la linea" Para mi era sencillo asi jajaja
considero que los valores si se relacion sin embargo debemos segmentarla por especie y sexo el cual vemos una relacion lineal
No entiendo que hace el np.random.normal(0,1000,x.size)
Genera un conjunto de datos con distribucion normal. El primer parametro, es la medio sobre los cuales estaran los datos, en este caso 0. El segundo parametro, es la desviacion estandar, en este caso,sera 1000, El tercer parametro, es la cantidad de datos a crear.
Esos datos, se los suma a la variable y para que la grafica no sea una parabola perfecta sino una parabola con ruido.
Al analizar una de las epecies por separado (Gentoo), vemos que hay una correlación positiva en las dimensiones del pico. ¿Esta correlación sería significativa? 0.65
Se hace una revisión general de variables, donde se encuentran algunas correlaciones altas como body_mass_g con flipper_length_mm del 87%.
Debido a que en la revisión general de datos con scatterplot para bill_depth_mm vs bill_length_mm se tienen dispersiones de puntos que siguen un patrón de acuerdo a la especie, se decide hacer el análisis por especie, continuando la revisión de scatterplot de las variables bill_depth_mm vs bill_length_mm. Se adicionan mapas de calor para verificar correlaciones entre datos por especies, teniendo que la especie Gentoo tiene mayores correlaciones, seguido de Chinstrap y finalmente Adelie con las menores correlaciones entre dimensiones de los pinguinos.
The code np.random.normal(0, 1000, x.size) generates a NumPy array of random numbers drawn from a normal (Gaussian) distribution with mean 0 and standard deviation 1000, with the size of the array being the same as the size of the input array x. In other words, it generates an array of random noise with the same shape as x. This can be useful for adding random variations or "noise" to a dataset.
Buen curso pero hay muchas cosas que se repiten de otros cursos y entonces jajaja aburre tener que repetirlos pero bien :)
No me quedo claro lo del impacto del indice de correlacion..
Esa medida (coef. de correlación) no nos proporciona información relevante acerca de las variaciones que ocurren en y cuando x cambia. En el caso de la clase, para el set naranja pudimos ver que la dispersión de datos es grande pero a pequeños cambios de x podemos obtener importantes variaciones de y, en contraste con el set azul.
Realmente, la constante que sí define esas variaciones es la pendiente de la recta.
DEEPNOTE
GENERACIÓN DE DATOS CON CORRELACIÓN NO LINEAL
Código:
x = np.linspace(-100, 100, 100)
y = x**2
y += np.random.normal(0, 1000, x.size)
sns.scatterplot(x=x, y=y)
np.corrcoef(x, y)
Descripción del código línea por línea:
Descripción del resultado:
Matriz de correlación: [[ 1. 0.0497257 ]
[ 0.0497257 1. ]]
GENERACIÓN DE DATOS CON CORRELACIÓN NO LINEAL MÁS PRONUNCIADA
Código:
x = np.linspace(-100, 100, 100)
y = x**3
y += np.random.normal(0, 1000, x.size)
sns.scatterplot(x=x, y=y)
np.corrcoef(x, y)
Descripción del código línea por línea:
Descripción del resultado:
Matriz de correlación: [[1. 0.9167859 ]
[0.9167859 1. ]]
RELACIÓN ENTRE VARIABLES CATEGÓRICAS Y NUMÉRICAS
Código:
sns.scatterplot(
data=penguins_df,
x='bill_length_mm',
y='bill_depth_mm'
)
Descripción del código línea por línea:
Descripción del resultado:
CORRELACIÓN ENTRE MÚLTIPLES CONJUNTOS DE DATOS
Código:
np.random.seed(42)
x_1 = np.linspace(0, 100, 100)
y_1 = 0.8 * x_1 + 3 + np.random.uniform(-2, 2, size=x_1.size)
x_2 = np.linspace(0, 100, 100)
y_2 = 6 * x_2 + np.random.uniform(0, 60, size=x_2.size)
sns.scatterplot(x=x_1, y=y_1)
sns.scatterplot(x=x_2, y=y_2)
plt.legend(labels=['1', '2'])
print(np.corrcoef(x_1, y_1))
print(np.corrcoef(x_2, y_2))
Descripción del código línea por línea:
Descripción del resultado:
x_1 y y_1: [[1. 0.9701617 ]
[0.9701617 1. ]]
x_2 y y_2: [[1. 0.64764343]
[0.64764343 1. ]]
