Explorando una variable categórica: conteos y proporciones

Clase 9 de 28 • Curso de Análisis Exploratorio de Datos

Contenido del curso

Introducción al análisis exploratorio de datos

Análisis univariado

Análisis bivariado

Análisis multivariado

Conclusiones

Tomar examen

Comentarios

Camilo Granda Gómez

student•

¡Hola! Aquí mi aporte.

Hice los gráficos de barras iterando las columnas categóricas mediante la variable category_cols, que me guarda los nombres de las columnas.

Del mismo modo, para visualizar la proporción, usé sns.histplot, puesto que displot no dispone del parámetro 'ax'.

Fernando Jesús Núñez Valdez

student•

Buen código, bro!!

Santiago Ivan Ordaz Neri

student•

Muy buen aporte compañero, muchas gracias

Jhojany Jose Uzategui Araujo

student•

Dejo un interesante aporte para ver las proporciones de las especies que existen por isla y así visualizar cuál especie es más predominante en general y por isla.

(
    process_penguins_df
    .pipe(
        lambda df: (
            sns.displot(
                data=df,
                x='island',
                hue='species',
                multiple='fill',
                palette=penguin_color,
                stat='proportion'
            )
        )
    )
)

José Alejandro Montes Juarez

student•

Me gusta tu aportacion, es facil ver que hay pinguinos que solo se dan en ciertas islas y el Adelie que sale en todos lados jajaja. Estaria bueno ver si el Adelie siempre es el de mayor presencia en cada isla

Carlos Mazzaroli

student•

fig,ax = plt.subplots(1,3,figsize=(15,5))

for i in range(len(columns)):
   sns.histplot(
        ax=ax[i],
        data=penguins_df,
        x=columns[i],
        hue='species',
        multiple='stack',
        palette=penguin_color,
        alpha=0.5
    )

columns = penguins_df.select_dtypes('object').columns

fig,ax = plt.subplots(1,3,figsize=(15,5))

for i in range(len(columns)):
   sns.histplot(
        ax=ax[i],
        data=penguins_df.add_column('x','').reset_index(),
        x='x',
        multiple='stack',
        hue=columns[i],
        palette=penguin_color if columns[i] == 'species' else None,
        alpha=0.5
    )

Manuel Agustín Barrera

student•

Gran aporte!

jabes nestor frias martinez

student•

me gusta usar el plt.show() al final de cada visualizacion hace que se vea mas limpio.

Jeinfferson Bernal G

student•

Daniel de Jesús Martínez Vega

student•

También se puede hacer escribiendo un ; en la linea donde creas la gráfica, igualmente la buena práctica es usar plt.show()

Ignacio Antonio Reyes Toledo

student•

Aquí dejo mi gráfica de pastel ^^. Espero les guste

María Eugenia Pereira Chévez

student•

Si se les presento error al agregar la columna.

penguins_df_final.add_column(column_name="x", value='')

Mario Chavez

student•

Use .assign(x=’ '), la librería pandas se acuatizo y ya no usa add_colums

Joaquín Alejandro Domínguez Lozano

student•

No sé si sea mi versión de python o pandas pero a mí me aparece cómo que no existe el método pandas.add_column, revisé la documentación y tampoco aparece, solo encontre pandas.assign que es para agregar nuevas columnas a un Data Frame. RECUERDEN, SIEMPRE LEAN LA DOCUMENTACIÓN

jhon velasque

student•

llegaste a solucionar el problema tengo el mismo ?

Joaquín Alejandro Domínguez Lozano

student•

usar .assign() es lo correcto, más adelante en el curso tambien lo ocupa. Solo debes desempaquetar un diccionario:

(
	df
	.assign(
		**{'x': '',}
	)
	.pipe(
		lambda df: ()
	)
)

FELIX DAVID CORDOVA GARCIA

student•

Gráfica de especies por sexo y por isla

Jeinfferson Bernal G

student•

Comandos para conteos y proporciones

describe. Describe el conjunto de datos mediante estadísticos descriptivos

preprocessed_penguins_df.describe(include='all')
# all implica que tome las variables tanto numericas como categoricas
# [np.number] ó describe() toma en cuenta solo variables numericas
# object considera solo variables categoricas

Convertir variables tipo object en category. Esto agrega nuevas funcionalidades en cuanto al manejo de la variable

# definir variables de tipo category
(
    preprocessed_penguins_df
    .astype({
        'species': 'category',
        'island': 'category',
        'sex': 'category'
    })
)

Visualizar los conteos con pandas

(
    preprocessed_penguins_df
    .species
    .value_counts()  #cuenta el numero de cada especie
    .plot(
        kind='bar'   #grafica el conteo de cada especie
    )
)

Visualizar los conteos con seaborn

sns.catplot(
    data=preprocessed_penguins_df,
    x='species',
    kind='count',
    palette=penguin_color
)

Crear visualizacion de manera manual con seaborn

(
    preprocessed_penguins_df
    .value_counts('species', sort=True)
    .reset_index(name='count')
    .pipe(
        lambda df: (
            sns.barplot(
                data=df,
                x='species',
                y='count',
                palette=penguin_color
            )
        )
    )
)

Visualizar las proporciones

(
    preprocess_penguins_df
    .add_column('x','')  #añade columnas vacias al df
    .pipe(
        lambda df:(
            sns.displot(
                data=df,
                x='x',
                hue='species',
                multiple='fill', # lo muestre en proporcion
                palette=penguin_color
            )
        )
    )
)

Andres Sanchez

student•

9. Explorando una variable categórica: conteos y proporciones

Tabulación

“Contabiliza la frecuencia de aparición de cada valor único de una variable”

Proporciones

“Relación de correspondencia entre las partes y el todo”

Extendiendo la idea de conteo

Tabulación cruzada o tablas de contingencia.

Jeinfferson Bernal G

student•

Explorando una variable Categórica: Conteos y Proporciones

Tabulacion. Consiste en contabilizar la frecuencia de aparición de cada valor único de una variable. Los conteos y proporciones se basan en la tabulacion

Estas tres formas son las mas comunes de presentar un conteo: Datos ordenados, Tablas y Grafica de barras

Proporciones. Es la relación de correspondencia entre las partes y el todo

Eduardo Hoppenstedt

teacher•

Así la distribución de observaciones por Isla:

NICOLAS ZAPATA RAMIREZ

student•

Este es mi aporte, un grafico de tortas o pie chart que permite ver la proporción de pingüinos por isla:

Andyno Cortez

student•

En cursos anteriores dicen que es la mejor forma de mostrar porcentajes cuando no son muchas categoria, y la verdad que si es mucho mas intuitivo.

Alfonso Andres Zapata Guzman

student•

Hay un error en el notebook del curso dejado en deepnote, en la variable de colores de los pinguinos:

penguin_color = {
    'Adelie': '#ff6602ff',
    'Gentoo': '#0f7175ff',
    'Chinstrap': '#c65dc9ff'
}

Tienen 'ff' al final todos los colores, lo cual no genera ningun color, se debe eliminar estos dos caracteres para que funcione.

px.histogram(processed_penguins_df, x='species', color='species', opacity=0.8, color_discrete_map= penguin_color)

Alfonso Andres Zapata Guzman

student•

processed_penguins_df.add_column('x', '').pipe(
    lambda df: (px.histogram(df, x='x', color='species', opacity=0.8,
    color_discrete_map=penguin_color))
)```

Alfonso Andres Zapata Guzman

student•

Diferencia entre hacer:

processed_penguins_df['species'].value_counts()

processed_penguins_df.species.value_counts()

Se que ambos dan el mismo resultado, pero en el curso anterior de Analisis exploratorio de datos, la instructora indico que ella preferia hacerlo de la primera manera indicada ya que como que permitia otras cosas y que tambien con la segunda opcion podia no resultar claro al hacer uso de clases.

Se que se acostumbra es usar la primera, pero queria saber si hay ventajas de la segunda por sobre la primera.

Andrés Cardona

student•

Cuando el nombre de la columna (variable) es una sola palabra no hay diferencia entre los dos, pero cuando el nombre de la columna son dos palabras separadas por un espacio (ejemplo: "salario anual") lo debes hacer por paréntesis rectos df['salario anual'].

Alfonso Andres Zapata Guzman

student•

Cuales son las cosas interesantes que permite hacer python cuando volvemos convertimos nuestras variables a tipo 'category'?

Fernando Jesús Núñez Valdez

student•

Esta es la documentacion del tipo de dato category

Resumen

The categorical data type is useful in the following cases:

A string variable consisting of only a few different values. Converting such a string variable to a categorical variable will save some memory, see here.
The lexical order of a variable is not the same as the logical order (“one”, “two”, “three”). By converting to a categorical and specifying an order on the categories, sorting and min/max will use the logical order instead of the lexical order, see here.
As a signal to other Python libraries that this column should be treated as a categorical variable (e.g. to use suitable statistical methods or plot types).

jhon velasque

student•

Si alguien tuvo problema con el comando add_colums de esta manera losolucione :

df_penguis=df_penguis.assign(x='')
( 
    df_penguis
    .pipe(
        lambda df :(
            sns.displot(
                data =df_penguis,
                x='x',
                hue='species',
                multiple='fill'
            )
        )
    )
)
plt.show()

**NOTA también lo puedes agregar la columna en una celda anterior **

df_penguis=df_penguis.assign(x='')

( 
    df_penguis
    .pipe(
        lambda df :(
            sns.displot(
                data =df_penguis,
                x='x',
                hue='species',
                multiple='fill'
            )
        )
    )
)
plt.show()```

Nelson Ricardo Ramírez García

student•

¡Muchas gracias por tu aporte! 🙂👍

Juan Pablo Marin Vanegas

student•

Confirmo. Este es el ajuste correcto.

Gracias

Jeinfferson Bernal G

student•

Proporcion de la variable island

Conteo de la variable island

Eduardo Hoppenstedt

teacher•

Ojo, en inglés "Especie" se escribiría "species" con s al final. Hay un typo en esas slides.

Axel Alvarado

student•

Use .assign(x=' ') Instead of add_column for new python versions

(
    process_penguins_df
    .pipe(
        lambda df: (
            sns.displot(
                data=df,
                x='island',
                hue='species',
                multiple='fill',
                palette=penguin_color,
                stat='proportion'
            )
        )
    )
)

fig,ax = plt.subplots(1,3,figsize=(15,5))

for i in range(len(columns)):
   sns.histplot(
        ax=ax[i],
        data=penguins_df,
        x=columns[i],
        hue='species',
        multiple='stack',
        palette=penguin_color,
        alpha=0.5
    )

columns = penguins_df.select_dtypes('object').columns

fig,ax = plt.subplots(1,3,figsize=(15,5))

for i in range(len(columns)):
   sns.histplot(
        ax=ax[i],
        data=penguins_df.add_column('x','').reset_index(),
        x='x',
        multiple='stack',
        hue=columns[i],
        palette=penguin_color if columns[i] == 'species' else None,
        alpha=0.5
    )

preprocessed_penguins_df.describe(include='all')
# all implica que tome las variables tanto numericas como categoricas
# [np.number] ó describe() toma en cuenta solo variables numericas
# object considera solo variables categoricas

(
    preprocessed_penguins_df
    .value_counts('species', sort=True)
    .reset_index(name='count')
    .pipe(
        lambda df: (
            sns.barplot(
                data=df,
                x='species',
                y='count',
                palette=penguin_color
            )
        )
    )
)

(
    preprocess_penguins_df
    .add_column('x','')  #añade columnas vacias al df
    .pipe(
        lambda df:(
            sns.displot(
                data=df,
                x='x',
                hue='species',
                multiple='fill', # lo muestre en proporcion
                palette=penguin_color
            )
        )
    )
)

df_penguis=df_penguis.assign(x='')
( 
    df_penguis
    .pipe(
        lambda df :(
            sns.displot(
                data =df_penguis,
                x='x',
                hue='species',
                multiple='fill'
            )
        )
    )
)
plt.show()

( 
    df_penguis
    .pipe(
        lambda df :(
            sns.displot(
                data =df_penguis,
                x='x',
                hue='species',
                multiple='fill'
            )
        )
    )
)
plt.show()```

Explorando una variable categórica: conteos y proporciones

Introducción al análisis exploratorio de datos

¿Qué es y para qué sirve el análisis exploratorio de datos?

¿Cómo hacer un análisis exploratorio de datos?

Tipos de análisis de datos

Tipos de datos y análisis de variables

Herramientas de software para el análisis exploratorio de datos

Conociendo nuestros datos: palmerpenguins

Recolección de datos, limpieza y validación

Ejercicio de validación de datos

Análisis univariado