Resaltar valores con Pandas

penguins_df.corr().style.highlight_between(left=0.65, right=.99,color='lightgreen')
- Resaltar entre
- Resaltar mayor
- Resaltar menor
- Resaltar nulo
- Resaltar quantil

penguins_df.corr().style.highlight_between(left=0.65, right=.99,color='lightgreen')
La correlación expresa hasta que punto dos variables estan relacionadas entre si. Es decir, si cambian conjuntamente. Para cuantificar que tanto estan relacionadas, se utiliza el concepto de Coeficiente de Correlacion.
Coeficiente de Correlación: cuantifica la intensidad de la relación lineal entre dos variables en un análisis de correlación

La Correlación no implica causalidad. Causalidad implica “Cuando algo (la causa) genera otra cosa (efecto)

Para los que no les gusta usar la función assign, acá les dejo otra forma de hacerlo usando la función apply:

Al haber hecho el sexo una variable discreta que solo puede tomar un valor de 0 o 1 al graficar se obtiene dos líneas horizontales, lo cual no muestra ninguna relación entre las dos variables para el ejemplo tome (bill_length_mm), por lo que el coeficiente de Pearson no tiene sentido en este caso.

los coeficiente que muestra el cluster map solo son valores teniendo en cuenta las varianzas del sexo respecto a la variable bill_length.

Otra forma de pasar variables categóricas a numéricas.
processed_penguins_df['numeric_sex']= processed_penguins_df['sex'].map({'female':0, 'male':1})
Un valor maś fácil de recordar para cmap y que también nos ayuda mucho a diferenciar es 'coolwarm'
sns.heatmap(
preprocess_penguins_df.corr(),
annot= True,
cmap='coolwarm'
);
Este código nos da la siguiente gráfica:
.


la variable con mas correlaciones es la del peso del pinguino, q se relaciona fuertemente con el de largo de la aleta y se puede ententeder el porque, a mayor tamaño de aleta mas peso, la variable con la relacion negativa mas alta es la del tamaño de la aleta y la profundidad del pico, aunque no es muy alta (llegando al 60%) es una correlacion interesante, se podria crear un hipotesis de porque esto,tipo si les permite nadar mejor,a ver si se encuentra una correlacion directa

Ahora, para hallar la correlación se debe coocar así: processed_penguins_df.corr(numeric_only=True)
la correlación en su naturaleza es aplicada a variables de base cuantitativa por ende no hace sentido aplicarla a variables de tipo categórica o nominal asi estan puedan expresarse como un numero.
Carlos Mazzaroli
Resaltar valores con Pandas
penguins_df.corr().style.highlight_between(left=0.65, right=.99,color='lightgreen')
Jeinfferson Bernal G
Matrices de Correlación
La correlación expresa hasta que punto dos variables estan relacionadas entre si. Es decir, si cambian conjuntamente. Para cuantificar que tanto estan relacionadas, se utiliza el concepto de Coeficiente de Correlacion.
Coeficiente de Correlación: cuantifica la intensidad de la relación lineal entre dos variables en un análisis de correlación
La Correlación no implica causalidad. Causalidad implica “Cuando algo (la causa) genera otra cosa (efecto)
Ruddy Ramos
Gracias por el aporte.
FELIX DAVID CORDOVA GARCIA
Para los que no les gusta usar la función assign, acá les dejo otra forma de hacerlo usando la función apply:
Leonel Ernesto Revelo Tobar
creo que la diferencia con assign es que apply esta igualando a cero los NaN
Ramiro Ledezma
Otra forma de hacerlo!
ANDRES EDUARDO MEDINA FERNANDEZ
Al haber hecho el sexo una variable discreta que solo puede tomar un valor de 0 o 1 al graficar se obtiene dos líneas horizontales, lo cual no muestra ninguna relación entre las dos variables para el ejemplo tome (bill_length_mm), por lo que el coeficiente de Pearson no tiene sentido en este caso.
los coeficiente que muestra el cluster map solo son valores teniendo en cuenta las varianzas del sexo respecto a la variable bill_length.
Daniel De Jesús
Justamente pensaba en esto cuando el profe preguntó si tendría sentido hacer este calculo. Según mis recuerdos de estadística de la licenciatura, para variables categóricas y numéricas conviene mas usar estadísticos que comparan medias de dos muestras y a partir de ellos se pueden inferir "tendencias".
José Alejandro Montes Juarez
No entendi nada, pero me sigo quedando con la duda, esto lo puedo aprender en algun curso de platzi?
Juan Sebastian Aponte Hung
Otra forma de pasar variables categóricas a numéricas.
processed_penguins_df['numeric_sex']= processed_penguins_df['sex'].map({'female':0, 'male':1})
Daniel de Jesús Martínez Vega
Un valor maś fácil de recordar para cmap y que también nos ayuda mucho a diferenciar es 'coolwarm'
sns.heatmap( preprocess_penguins_df.corr(), annot= True, cmap='coolwarm' );
Este código nos da la siguiente gráfica: .
Juan Robayo
la variable con mas correlaciones es la del peso del pinguino, q se relaciona fuertemente con el de largo de la aleta y se puede ententeder el porque, a mayor tamaño de aleta mas peso, la variable con la relacion negativa mas alta es la del tamaño de la aleta y la profundidad del pico, aunque no es muy alta (llegando al 60%) es una correlacion interesante, se podria crear un hipotesis de porque esto,tipo si les permite nadar mejor,a ver si se encuentra una correlacion directa
Juan R. Vergara M.
Gran aporte amigo ✔
David Duque Uribe
José Alejandro Montes Juarez
Se ve muy bien, me cuesta un poco de trabajo leerlo, pero me causo una duda que es algo raro que vi visualmente. Los pinguinos son mas largos cuando pasan los años?
Mauro Benito Montoya Arenas
Ahora, para hallar la correlación se debe coocar así: processed_penguins_df.corr(numeric_only=True)
Ruben Gavilanes
la correlación en su naturaleza es aplicada a variables de base cuantitativa por ende no hace sentido aplicarla a variables de tipo categórica o nominal asi estan puedan expresarse como un numero.
Pablo Alejandro Figueroa
Comentarios sobre correlación de Pearson
Daniela Mendoza Redondo
Excelente las explicaciones del profe. Deja ejemplos super simples y muy claros.
Andres Sanchez
18. Estableciendo relaciones: matrices de correlación
“Expresa hasta qué punto dos variables están relacionadas entre sí. Es decir, si cambian conjuntamente.”
Coeficiente de correlación: utilizamos Correlación de Pearson
Cuantifica la intensidad de la relación lineal entre dos variables en un análisis de correlación.
r = 1 correlación positiva r = 0 sin correlación r = -1 correlación negativa
Correlación no implica causalidad
Causalidad Cuando algo (la causa) genera otra cosa (efecto)
Correlación Cuando dos o más eventos aparentan estar relacionados
Según la representación de la matriz podría decir que los que más se destacan son la correlación fuerte positiva entre el tamaño de las alas y el peso. También la correlación moderada positiva entre el tamaño de las alas y largo del pico. Y que la profundidad del pico y el tamaño del las alas tenga una correlación moderada negativa.
Alfonso Andres Zapata Guzman
Juan R. Vergara M.
👍 gracias
Marco Antonio Rivas Roque
Ya no existe el video u.u
JUAN CAMILO AGUIRRE ROMERO
Estoy siguiendo los ejercicios pero en Colab, alguien sabe por qué al ejecutar processed_penguins_df.corr() me genera ValueError: could not convert string to float: 'Adelie' ???
Tengo que escribirle numeric_only=True para que lo ejecute bien
Giuliano Cucina
Tengo una duda gente, al momento de establecer la correlacion que existe entre el sexo con las demas variables, como sabria si la relacion es para el macho o para la hembra?
Jose Potes
Hermano, teniendo en cuenta esto: 1 = perfecta, que un cambio de la X es un cambio positivo en la Y. -1 = Un cambio positivo en X es un cambio positivo en Y. ten encuenta esto.
Thomas Gonzalez Rodrigues
hola esto fue lo que hice para incluir las variables categóricas
data = df.copy() d_object = data.loc[:,data.dtypes == object] data.loc[:,data.dtypes == object] = d_object.apply(lambda s:pd.factorize(s)[0])
Sebastian Gaviria
Si queremos el heatmap sin la columna del año:
heatmap_without_year = processed_penguins_df.loc[:, processed_penguins_df.columns!='year'] sns.heatmap(data=heatmap_without_year.corr(), cmap=sns.color_palette("coolwarm", as_cmap=True), center=0, vmin=-1, vmax=1, linewidth=1, annot=True)
Jhon Alexander Mosquera Vanegas
El ejemplo de los helados y las quemaduras resume el riesgo de leer una correlación como una causa: ambas suben en verano porque el sol explica las dos. En presupuesto público pasa algo parecido. Por ejemplo, un caso típico es que la inversión de un municipio y su desempeño en un indicador crezcan juntos porque ambos dependen de su tamaño. La clase recuerda que, para hablar de causa y efecto, hacen falta experimentos más robustos. Mientras tanto, quien presenta una matriz de correlación a un comité debería nombrar qué tercera variable podría estar explicando ambos movimientos.
Juan José Bohorquez
Está pregunta está mal redactada:
Te encuentras realizando un análisis de correlación de Pearson entre dos variables y obtienes como resultado una correlación de 0. ¿Qué no podrías concluir de este resultado?
Pues lo qué no se puede concluir es:
No existe ninguna correlación entre las dos variables observadas.
Pues NO puedo concluir que no existe ninguna correlación, sino que no hay una correlación lineal. DOBLE NEGACIÓN.