Clase 18 de 28 • Curso de Análisis Exploratorio de Datos
Contenido del curso
Carlos Mazzaroli
Jeinfferson Bernal G
Ruddy Ramos
FELIX DAVID CORDOVA GARCIA
Leonel Ernesto Revelo Tobar
Ramiro Ledezma
ANDRES EDUARDO MEDINA FERNANDEZ
Daniel De Jesús
José Alejandro Montes Juarez
Juan Sebastian Aponte Hung
Daniel de Jesús Martínez Vega
Juan Robayo
Juan R. Vergara M.
David Duque Uribe
José Alejandro Montes Juarez
Mauro Benito Montoya Arenas
Ruben Gavilanes
Pablo Alejandro Figueroa
Daniela Mendoza Redondo
Andres Sanchez
Alfonso Andres Zapata Guzman
Juan R. Vergara M.
Marco Antonio Rivas Roque
Giuliano Cucina
Jose Potes
Thomas Gonzalez Rodrigues
Sebastian Gaviria
Juan José Bohorquez
Adolfo Sebastián Jara Gavilanes
Carlos Andrés Pinilla Castillo
JUAN CAMILO AGUIRRE ROMERO
Resaltar valores con Pandas
penguins_df.corr().style.highlight_between(left=0.65, right=.99,color='lightgreen')
Matrices de Correlación
La correlación expresa hasta que punto dos variables estan relacionadas entre si. Es decir, si cambian conjuntamente. Para cuantificar que tanto estan relacionadas, se utiliza el concepto de Coeficiente de Correlacion.
Coeficiente de Correlación: cuantifica la intensidad de la relación lineal entre dos variables en un análisis de correlación
La Correlación no implica causalidad. Causalidad implica “Cuando algo (la causa) genera otra cosa (efecto)
Gracias por el aporte.
Para los que no les gusta usar la función assign, acá les dejo otra forma de hacerlo usando la función apply:
creo que la diferencia con assign es que apply esta igualando a cero los NaN
Otra forma de hacerlo!
Al haber hecho el sexo una variable discreta que solo puede tomar un valor de 0 o 1 al graficar se obtiene dos líneas horizontales, lo cual no muestra ninguna relación entre las dos variables para el ejemplo tome (bill_length_mm), por lo que el coeficiente de Pearson no tiene sentido en este caso.
los coeficiente que muestra el cluster map solo son valores teniendo en cuenta las varianzas del sexo respecto a la variable bill_length.
Justamente pensaba en esto cuando el profe preguntó si tendría sentido hacer este calculo. Según mis recuerdos de estadística de la licenciatura, para variables categóricas y numéricas conviene mas usar estadísticos que comparan medias de dos muestras y a partir de ellos se pueden inferir "tendencias".
No entendi nada, pero me sigo quedando con la duda, esto lo puedo aprender en algun curso de platzi?
Otra forma de pasar variables categóricas a numéricas.
processed_penguins_df['numeric_sex']= processed_penguins_df['sex'].map({'female':0, 'male':1})
Un valor maś fácil de recordar para cmap y que también nos ayuda mucho a diferenciar es 'coolwarm'
sns.heatmap( preprocess_penguins_df.corr(), annot= True, cmap='coolwarm' );
Este código nos da la siguiente gráfica: .
la variable con mas correlaciones es la del peso del pinguino, q se relaciona fuertemente con el de largo de la aleta y se puede ententeder el porque, a mayor tamaño de aleta mas peso, la variable con la relacion negativa mas alta es la del tamaño de la aleta y la profundidad del pico, aunque no es muy alta (llegando al 60%) es una correlacion interesante, se podria crear un hipotesis de porque esto,tipo si les permite nadar mejor,a ver si se encuentra una correlacion directa
Gran aporte amigo ✔
Se ve muy bien, me cuesta un poco de trabajo leerlo, pero me causo una duda que es algo raro que vi visualmente. Los pinguinos son mas largos cuando pasan los años?
Ahora, para hallar la correlación se debe coocar así: processed_penguins_df.corr(numeric_only=True)
la correlación en su naturaleza es aplicada a variables de base cuantitativa por ende no hace sentido aplicarla a variables de tipo categórica o nominal asi estan puedan expresarse como un numero.
Comentarios sobre correlación de Pearson
Excelente las explicaciones del profe. Deja ejemplos super simples y muy claros.
18. Estableciendo relaciones: matrices de correlación
“Expresa hasta qué punto dos variables están relacionadas entre sí. Es decir, si cambian conjuntamente.”
Coeficiente de correlación: utilizamos Correlación de Pearson
Cuantifica la intensidad de la relación lineal entre dos variables en un análisis de correlación.
r = 1 correlación positiva r = 0 sin correlación r = -1 correlación negativa
Correlación no implica causalidad
Causalidad Cuando algo (la causa) genera otra cosa (efecto)
Correlación Cuando dos o más eventos aparentan estar relacionados
Según la representación de la matriz podría decir que los que más se destacan son la correlación fuerte positiva entre el tamaño de las alas y el peso. También la correlación moderada positiva entre el tamaño de las alas y largo del pico. Y que la profundidad del pico y el tamaño del las alas tenga una correlación moderada negativa.
👍 gracias
Ya no existe el video u.u
Tengo una duda gente, al momento de establecer la correlacion que existe entre el sexo con las demas variables, como sabria si la relacion es para el macho o para la hembra?
Hermano, teniendo en cuenta esto: 1 = perfecta, que un cambio de la X es un cambio positivo en la Y. -1 = Un cambio positivo en X es un cambio positivo en Y. ten encuenta esto.
hola esto fue lo que hice para incluir las variables categóricas
data = df.copy() d_object = data.loc[:,data.dtypes == object] data.loc[:,data.dtypes == object] = d_object.apply(lambda s:pd.factorize(s)[0])
Si queremos el heatmap sin la columna del año:
heatmap_without_year = processed_penguins_df.loc[:, processed_penguins_df.columns!='year'] sns.heatmap(data=heatmap_without_year.corr(), cmap=sns.color_palette("coolwarm", as_cmap=True), center=0, vmin=-1, vmax=1, linewidth=1, annot=True)
Está pregunta está mal redactada:
Te encuentras realizando un análisis de correlación de Pearson entre dos variables y obtienes como resultado una correlación de 0. ¿Qué no podrías concluir de este resultado?
Pues lo qué no se puede concluir es:
No existe ninguna correlación entre las dos variables observadas.
Pues NO puedo concluir que no existe ninguna correlación, sino que no hay una correlación lineal. DOBLE NEGACIÓN.
Tengo una duda: he leído acerca de como tratar la variable de sexo o género, y en la mayoría de casos se la debe transformar utilizando OneHotEncoder porque es una variable categórica nominal, y en este caso se la trata como si fuera variable categórica ordinal. ¿Alguien sabe por qué se hace así?
Por defecto al tener solo dos opciones, es como si se le estuviera tratando como OneHotEncoder. Male se le asigna un 1 Female 0
Para efectos practicos es como si la variable fuera: Es macho: 1 -> Para Male Es Macho: 0 -> Para Female
El resultado anterior sería el mismo de aplicar OneHotEncoder a la variable Sex.
Estoy siguiendo los ejercicios pero en Colab, alguien sabe por qué al ejecutar processed_penguins_df.corr() me genera ValueError: could not convert string to float: 'Adelie' ???
Tengo que escribirle numeric_only=True para que lo ejecute bien
