Ejercicio de obtención de medidas de dispersión

Clase 12 de 28 • Curso de Análisis Exploratorio de Datos

Jhon Edward Bedoya

student•

Es interesante ver la distribución del conjunto de datos de las tres especies. 🤔

Ciertamente, parece bimodal, aunque posiblemente al normalizar la data, encontraremos algún factor influyente que cambie este panorama 📊


var_flipper_len = processed_penguins_df['flipper_length_mm']

g=sns.histplot(
    data=processed_penguins_df,
    x='flipper_length_mm',
    binwidth=1,
    hue='species',
    alpha=.5
)
g.set_title('Penguins Flipper Length Distribution', y=1.03)

# Mean(Red)
plt.axvline(
    x =var_flipper_len.mean(),
    linestyle="dashed",
    color="r",
    linewidth=2
)

# Median(Green)
plt.axvline(
    x=var_flipper_len.median(),
    linestyle="dashed",
    color="g",
    linewidth=2
)

# Q_75(Black)
plt.axvline(
    x=var_flipper_len.quantile(0.75),
    linestyle="dashed",
    color="k",
    linewidth=2
)

# Q_25(Black)
plt.axvline(
    x=var_flipper_len.quantile(0.25),
    linestyle="dashed",
    color="k",
    linewidth=2
)

plt.text(184.7,17.5, 'Q(25%)', fontsize=12)
plt.text(192,17.5, 'median', fontsize=12, color='g')
plt.text(201.5,17.5, 'mean', fontsize=12, color='r')
plt.text(213.5,17.5, 'Q(75%)', fontsize=12)

plt.show()

Fernando Jesús Núñez Valdez

student•

Y aquí el boxplot para cada especie:

sns.boxplot(
    data=process_penguins_df,
    x='flipper_length_mm',
    y='species'
)

Jhon Edward Bedoya

student•

@Fernutz está cool tu aporte 🦾

Carlos Mazzaroli

student•

Aca visualizamos la distribucion de las distintas caracteristicas por especie

numeric_columns = penguins_df.select_dtypes(include=np.number).columns

fig,ax = plt.subplots(1,len(numeric_columns), figsize=(15,5))

for i in range(len(numeric_columns)):
    sns.histplot( 
        ax=ax[i],
        data=penguins_df,
        x=numeric_columns[i],
        multiple='stack',
        hue='species',
        bins=15,
        palette=penguin_color,
        kde=True,
        )

Aca visualizamos una caracteristica en especifico con su media respectiva, cuantiles y ya separadas las especies

species = penguins_df.species.unique()

adelie_df = penguins_df.query("species == 'Adelie'")
gentoo_df = penguins_df.query("species == 'Gentoo'")
chinstrap_df = penguins_df.query("species == 'Chinstrap'")

list = [adelie_df,gentoo_df,chinstrap_df]

fig,ax = plt.subplots(1,len(list), figsize=(15,5), sharey=True)

for i in range(len(list)):
    sns.histplot( 
        ax=ax[i],
        data=list[i],
        x='flipper_length_mm',
        multiple='layer',
        hue='species',
        bins=15,
        kde=True,
        palette=penguin_color,
        )

    ax[i].axvline(
        x=list[i]['flipper_length_mm'].mean(),
        color='red'
        )

    ax[i].axvline(
        x=list[i]['flipper_length_mm'].quantile(.25),
        color='blue'
        )

    ax[i].axvline(
        x=list[i]['flipper_length_mm'].quantile(.75),
        color='blue'
        )```

Naren Fragozo

student•

numeric_columns = df_preprocess_penguins.select_dtypes(include=np.number).columns

fig, ax = plt.subplots(1, len(numeric_columns), figsize=(24,5))

for i, col in enumerate(numeric_columns):
    sns.histplot(
        data=df_preprocess_penguins,
        ax=ax[i],
        x=col,
        hue="species",
        binwidth=1,
        bins="auto",
        kde=True,
        alpha=.5,
        element="step",
        common_norm=False,
        stat="density",
    )
    
    ax[i].set_title(col)
    ax[i].set_xlabel(None)
    ax[i].set_ylabel("Density")

plt.tight_layout()

Eduardo Hoppenstedt

teacher•

En este caso, la distribución pareciera bimodal pero se debe a que las 3 especies tienen distribuciones distintas, sin embargo, cada especie pareciera tener una distribución normal. Las lineas rojas y azules marcan la media y desviación estandar de toda la población:

Jeinfferson Bernal G

student•

Muy buen aporte.

Miguel Sánchez Guerrero

student•

¿Cuál es el valor Freedman-Diaconis?

Después de la función la declaramos. Para Flipper_length_mm: 3.3 :point_down:

Jeinfferson Bernal G

student•

Muy buen aporte. Resolvio mi duda!

Marlon Yuleison Mosquera Sánchez

student•

Excelente, Gracias!

Christian Rangel

student•

El profesor en el minuto 5:20 indica que el valor del cuartil 50% es igual al valor de la media, pero creo que se refiere a la mediana. Porque esos valores corresponde a la mediana.

Yonatan Efraín Jara Boza

student•

Sí, se refiere a la mediana o median. Todavía no se ha evaluado si las distribuciones son simétricas o no.

Sergei Beltran

student•

Las gráficas boxenplot nos ayudan a identificar un poco mejor la distribución de nuestros datos sin necesidad de hacer un histplot. Es tan versatil que podemos ajustar la cantidad de quantiles que queremos relfejar. Aunque es más útil cuando hay mayor cantidad de datos puede influir en una mejor interpretación:

sns.boxenplot(
    data=preprocess_penguins_df,
    x="flipper_length_mm",
    y="species",
    palette=penguin_color,
    k_depth=4
);

Un plus sería analizarlos por sexo:

Carlos Mazzaroli

student•

Para poder hacer una comparación rápida entre las variables de los pinguineins

species = penguins_df.species.unique()

adelie_df = penguins_df.query("species == 'Adelie'")
gentoo_df = penguins_df.query("species == 'Gentoo'")
chinstrap_df = penguins_df.query("species == 'Chinstrap'")

list = [adelie_df,gentoo_df,chinstrap_df]
numeric_columns = penguins_df.select_dtypes(include=np.number).columns

fig,ax = plt.subplots(len(numeric_columns),len(list),sharey=True, figsize=(15,12))

for j in range(len(numeric_columns)):
    for i in range(len(list)):
        sns.histplot( 
            ax=ax[j][i],
            data=list[i],
            x=numeric_columns[j],
            multiple='stack',
            hue='species',
            bins=15,
            kde=True,
            palette=penguin_color,
            )
        

        ax[j][i].set_ylabel(f'{numeric_columns[j]}')
        ax[j][i].set_xlabel(f'{species[i]}')

        ax[j][i].get_legend().remove()

Roger Christian Cansaya Olazabal

student•

Menos codigo mas accion.

sns.histplot(
    data=processed_penguins_df,
    x='flipper_length_mm'
)
x_stats = [
    [processed_penguins_df.flipper_length_mm.mean(),'r',2],
    [processed_penguins_df.flipper_length_mm.median(),'g',2],
    [processed_penguins_df.flipper_length_mm.mode().max(),'y',2],
    [processed_penguins_df.flipper_length_mm.quantile(0.75),'k',2],
    [processed_penguins_df.flipper_length_mm.quantile(0.25),'k',1]
    ]
 
[plt.axvline(
    x=value[0], 
    color=value[1],
    linestyle='dashed',
    linewidth=value[2]
    ) for value in x_stats]
    
heigth = 75
plt.text(processed_penguins_df.flipper_length_mm.quantile(0.25)+ 0.25,heigth, 'Q(25%)', fontsize=12)
plt.text(processed_penguins_df.flipper_length_mm.mode().max() + 0.25,heigth-3, 'mode', fontsize=12, color='y')
plt.text(processed_penguins_df.flipper_length_mm.median() + 0.25,heigth-6, 'median', fontsize=12, color='g')
plt.text(processed_penguins_df.flipper_length_mm.mean()+ 0.25,heigth-9, 'mean', fontsize=12, color='r')
plt.text(processed_penguins_df.flipper_length_mm.quantile(0.75)+0.25,heigth, 'Q(75%)', fontsize=12)

Mauricio Escobar

student•

Con la longitud del pico pingüinesco:

*La Isla Biscoe es la más densamente poblada: En ella, los pingüinos suelen tener una longitud del pico promedio, también es donde podemos encontrar la mayor cantidad de pingüinos con el pico más grande, aunque no es una cantidad significativa

María Eugenia Pereira Chévez

student•

Determinación el tamaño de binwidth del histograma mediante la regla de Freedman-Diaconis

Los histogramas se utilizan para estimar la distribución de probabilidad de una variable aleatoria continua. Se utilizan con frecuencia como punto de partida del análisis exploratorio de datos y proporcionan información sobre la forma y la variabilidad de los datos en cuestión. Uno de los desafíos en la construcción de histogramas es seleccionar el número óptimo de contenedores (o, análogamente, el ancho de cada contenedor). Para ayudar a determinar un ancho de intervalo razonable, podemos aprovechar la regla de Freedman-Diaconis, que fue diseñada para minimizar la diferencia entre el área bajo la distribución de probabilidad empírica y el área bajo la distribución de probabilidad teórica.

Formalmente, la regla toma como entrada el rango intercuartílico IQR(x) y el número de observaciones n en el conjunto de datos empíricos, y devuelve una estimación del ancho del intervalo. La regla se puede expresar como:

$$Bin~width = 2 \frac{IQR(x)}{\sqrt{n}}$$

sns.histplot(data=penguins_df_final, x="flipper_length_mm", kde=True, binwidth=freedman_diaconis_bindwidth(penguins_df_final.bill_length_mm));
plt.axvline(x=penguins_df_final.flipper_length_mm.mean(), color = 'red', linestyle='dashed', linewidth=2);

María José Medina

student•

Para complementar el ultimo comentario de la clase, les comparto el Anscombe's Quartet:

Never trust summary statistics alone; always visualize your data

Jeison Esteban Gaviria Moncayo

student•

Aquí mi histograma con bins=3 y haciendo hue='species':

sns.histplot(
    data = preprocess_penguins_df,
    x='flipper_length_mm',
    hue='species',
    palette=penguin_color,
    binwidth=3
)

plt.axvline(
    x=preprocess_penguins_df.flipper_length_mm.mean(),
    color = 'red',
    linestyle = 'dashed',
    linewidth=3
)
plt.axvline(
    x=preprocess_penguins_df.flipper_length_mm.median(),
    color = 'green',
    linestyle = 'dashed',
    linewidth=3
)

plt.text(preprocess_penguins_df.flipper_length_mm.median(),30, 'median', fontsize=12, color='g')
plt.text(preprocess_penguins_df.flipper_length_mm.mean(), 30, 'mean', fontsize=12, color='r')

plt.show()```

Jeinfferson Bernal G

student•

Medidas de Dispersion Notebook

max() arroja los valores maximos de las variables del dataset. Utiliza el parametro numeric_only para obtener el maximo solo de las variables numericas

dataFrame.max(numeric_only=True)

min() arroja los valores minimos de las variables del dataset

dataFrame.min(numeric_only=True)

Calculo del rango intercuartil mostrado en una tabla

(
    dataFrame
    .quantile(q=[0.75,0.50,0.25])
    .transpose()
    .rename_axis('variable')
    .reset_index()
    .assign(
        iqr=lambda df: df[0.75] - df[0.25]
    )
)

Histograma de una variable del dataset

#histograma
sns.histplot(
    data=preprocessed_penguins_df,
    x='flipper_length_mm'
)

#trazar la media en la grafica
plt.axvline(
    x=preprocessed_penguins_df.flipper_length_mm.mean(),
    color='red',
    linestyle='dashed',
    linewidth=2
)

Diagrama de caja de una variable del dataset

sns.boxplot(
    data=preprocessed_penguins_df,
    x='flipper_length_mm',
)

Funcion Freedman Diaconis. Permite calcular el bin mas adecuado basados en el rango intercuartil

Daniela Mendoza Redondo

student•

¿Por qué no es posible calcular la moda?

<ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().

sns.histplot(
    data=processed_penguins_df,
    x='flipper_length_mm',
    binwidth=1,
    hue= 'species'
)

#Median
plt.axvline(
    x=processed_penguins_df.flipper_length_mm.median(),
    color='red',
    linestyle='dashed',
    linewidth=1 
)
#Mean
plt.axvline(
    x=processed_penguins_df.flipper_length_mm.mean(),
    color='green',
    linestyle='dashed',
    linewidth=1
)
#Mode
plt.axvline(
    x=processed_penguins_df.flipper_length_mm.mode(),
    color='grey',
    linestyle='dashed',
    linewidth=1
)>

Fernando Jesús Núñez Valdez

student•

Bueno, pues creo síes posible, este es mi resultado:

process_penguins_df.flipper_length_mm.mode()

0    190.0
dtype: float64

María Eugenia Pereira Chévez

student•

Tienes que indicarle .max()

plt.axvline(x=penguins_df_final.flipper_length_mm.mode().max(), color='green', linestyle = 'dashdot', linewidth= 3);

sebastián Giraldo Vargas

student•

La proporción de los pinguinos por isla:

Luego, hice un hist para comparar la masa en cada isla. Al parecer también muchas comparaciones serán bimodales ya que serán pinguinos de islas distintas, pero al parecer los pinguinos en la isla biscoe son más gorditos

Juan R. Vergara M.

student•

👍✔

Alfonso Andres Zapata Guzman

student•

fig = px.histogram(processed_penguins_df, x="flipper_length_mm",
                   marginal="box", color='species', opacity=0.8,
                   hover_data=processed_penguins_df.columns)
fig.show()

fig = px.box(processed_penguins_df, y="flipper_length_mm", color='species', points="all")
fig.show()

Alfonso Andres Zapata Guzman

student•

Con plotly en un solo grafico podemos visualizar ambas graficas y ver los valores de los quartiles, media, min, max, sin necesidad de agregar lineas adicionales. Ademas podemos desmarcar en la legenda las distintas especies y ver como se comportan en solitario, de esta manera podemos apreciar que cada especie tiene su campana de gauss en solitario.

Alfonso Andres Zapata Guzman

student•

Por cierto hay un Swapping entre la clase 12 y 13.

Diego Cesar Lerma Torres

student•

También si corregimos el boxplot por especie da lo siguiente:

sns.boxplot(
    data=penguins_df,
    x='flipper_length_mm',
    y='species',
    palette=penguin_color
)
```sns.boxplot(    data=penguins\_df,    x='flipper\_length\_mm',    y='species',    palette=penguin\_color)

Daniel Andres Rojas Paredes

student•

como escoger el numero correcto de bins?

Dennis Ricardo López Morell

student•

Implementando la función freedman lo hice así (espero que sea así):

Me arrojó un resultado grafico

Espero que sea correcto.

Si desean visitar mi repositorio de Git Hub de este curso, aquí lo dejo:

Gerardo Miguel Pérez Solis

student•

Comparto un histograma sobre la variable bill_length_mm con las medidas de tendencia central .

var_flipper_len = processed_penguins_df['flipper_length_mm']

g=sns.histplot(
    data=processed_penguins_df,
    x='flipper_length_mm',
    binwidth=1,
    hue='species',
    alpha=.5
)
g.set_title('Penguins Flipper Length Distribution', y=1.03)

# Mean(Red)
plt.axvline(
    x =var_flipper_len.mean(),
    linestyle="dashed",
    color="r",
    linewidth=2
)

# Median(Green)
plt.axvline(
    x=var_flipper_len.median(),
    linestyle="dashed",
    color="g",
    linewidth=2
)

# Q_75(Black)
plt.axvline(
    x=var_flipper_len.quantile(0.75),
    linestyle="dashed",
    color="k",
    linewidth=2
)

# Q_25(Black)
plt.axvline(
    x=var_flipper_len.quantile(0.25),
    linestyle="dashed",
    color="k",
    linewidth=2
)

plt.text(184.7,17.5, 'Q(25%)', fontsize=12)
plt.text(192,17.5, 'median', fontsize=12, color='g')
plt.text(201.5,17.5, 'mean', fontsize=12, color='r')
plt.text(213.5,17.5, 'Q(75%)', fontsize=12)

plt.show()

numeric_columns = penguins_df.select_dtypes(include=np.number).columns

fig,ax = plt.subplots(1,len(numeric_columns), figsize=(15,5))

for i in range(len(numeric_columns)):
    sns.histplot( 
        ax=ax[i],
        data=penguins_df,
        x=numeric_columns[i],
        multiple='stack',
        hue='species',
        bins=15,
        palette=penguin_color,
        kde=True,
        )

species = penguins_df.species.unique()

adelie_df = penguins_df.query("species == 'Adelie'")
gentoo_df = penguins_df.query("species == 'Gentoo'")
chinstrap_df = penguins_df.query("species == 'Chinstrap'")

list = [adelie_df,gentoo_df,chinstrap_df]

fig,ax = plt.subplots(1,len(list), figsize=(15,5), sharey=True)

for i in range(len(list)):
    sns.histplot( 
        ax=ax[i],
        data=list[i],
        x='flipper_length_mm',
        multiple='layer',
        hue='species',
        bins=15,
        kde=True,
        palette=penguin_color,
        )

    ax[i].axvline(
        x=list[i]['flipper_length_mm'].mean(),
        color='red'
        )

    ax[i].axvline(
        x=list[i]['flipper_length_mm'].quantile(.25),
        color='blue'
        )

    ax[i].axvline(
        x=list[i]['flipper_length_mm'].quantile(.75),
        color='blue'
        )```

numeric_columns = df_preprocess_penguins.select_dtypes(include=np.number).columns

fig, ax = plt.subplots(1, len(numeric_columns), figsize=(24,5))

for i, col in enumerate(numeric_columns):
    sns.histplot(
        data=df_preprocess_penguins,
        ax=ax[i],
        x=col,
        hue="species",
        binwidth=1,
        bins="auto",
        kde=True,
        alpha=.5,
        element="step",
        common_norm=False,
        stat="density",
    )
    
    ax[i].set_title(col)
    ax[i].set_xlabel(None)
    ax[i].set_ylabel("Density")

plt.tight_layout()

species = penguins_df.species.unique()

adelie_df = penguins_df.query("species == 'Adelie'")
gentoo_df = penguins_df.query("species == 'Gentoo'")
chinstrap_df = penguins_df.query("species == 'Chinstrap'")

list = [adelie_df,gentoo_df,chinstrap_df]
numeric_columns = penguins_df.select_dtypes(include=np.number).columns

fig,ax = plt.subplots(len(numeric_columns),len(list),sharey=True, figsize=(15,12))

for j in range(len(numeric_columns)):
    for i in range(len(list)):
        sns.histplot( 
            ax=ax[j][i],
            data=list[i],
            x=numeric_columns[j],
            multiple='stack',
            hue='species',
            bins=15,
            kde=True,
            palette=penguin_color,
            )
        

        ax[j][i].set_ylabel(f'{numeric_columns[j]}')
        ax[j][i].set_xlabel(f'{species[i]}')

        ax[j][i].get_legend().remove()

sns.histplot(
    data=processed_penguins_df,
    x='flipper_length_mm'
)
x_stats = [
    [processed_penguins_df.flipper_length_mm.mean(),'r',2],
    [processed_penguins_df.flipper_length_mm.median(),'g',2],
    [processed_penguins_df.flipper_length_mm.mode().max(),'y',2],
    [processed_penguins_df.flipper_length_mm.quantile(0.75),'k',2],
    [processed_penguins_df.flipper_length_mm.quantile(0.25),'k',1]
    ]
 
[plt.axvline(
    x=value[0], 
    color=value[1],
    linestyle='dashed',
    linewidth=value[2]
    ) for value in x_stats]
    
heigth = 75
plt.text(processed_penguins_df.flipper_length_mm.quantile(0.25)+ 0.25,heigth, 'Q(25%)', fontsize=12)
plt.text(processed_penguins_df.flipper_length_mm.mode().max() + 0.25,heigth-3, 'mode', fontsize=12, color='y')
plt.text(processed_penguins_df.flipper_length_mm.median() + 0.25,heigth-6, 'median', fontsize=12, color='g')
plt.text(processed_penguins_df.flipper_length_mm.mean()+ 0.25,heigth-9, 'mean', fontsize=12, color='r')
plt.text(processed_penguins_df.flipper_length_mm.quantile(0.75)+0.25,heigth, 'Q(75%)', fontsize=12)

sns.histplot(data=penguins_df_final, x="flipper_length_mm", kde=True, binwidth=freedman_diaconis_bindwidth(penguins_df_final.bill_length_mm));
plt.axvline(x=penguins_df_final.flipper_length_mm.mean(), color = 'red', linestyle='dashed', linewidth=2); 

sns.histplot(
    data = preprocess_penguins_df,
    x='flipper_length_mm',
    hue='species',
    palette=penguin_color,
    binwidth=3
)

plt.axvline(
    x=preprocess_penguins_df.flipper_length_mm.mean(),
    color = 'red',
    linestyle = 'dashed',
    linewidth=3
)
plt.axvline(
    x=preprocess_penguins_df.flipper_length_mm.median(),
    color = 'green',
    linestyle = 'dashed',
    linewidth=3
)

plt.text(preprocess_penguins_df.flipper_length_mm.median(),30, 'median', fontsize=12, color='g')
plt.text(preprocess_penguins_df.flipper_length_mm.mean(), 30, 'mean', fontsize=12, color='r')

plt.show()```

#histograma
sns.histplot(
    data=preprocessed_penguins_df,
    x='flipper_length_mm'
)

#trazar la media en la grafica
plt.axvline(
    x=preprocessed_penguins_df.flipper_length_mm.mean(),
    color='red',
    linestyle='dashed',
    linewidth=2
)

<ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().

sns.histplot(
    data=processed_penguins_df,
    x='flipper_length_mm',
    binwidth=1,
    hue= 'species'
)

#Median
plt.axvline(
    x=processed_penguins_df.flipper_length_mm.median(),
    color='red',
    linestyle='dashed',
    linewidth=1 
)
#Mean
plt.axvline(
    x=processed_penguins_df.flipper_length_mm.mean(),
    color='green',
    linestyle='dashed',
    linewidth=1
)
#Mode
plt.axvline(
    x=processed_penguins_df.flipper_length_mm.mode(),
    color='grey',
    linestyle='dashed',
    linewidth=1
)> 

fig = px.histogram(processed_penguins_df, x="flipper_length_mm",
                   marginal="box", color='species', opacity=0.8,
                   hover_data=processed_penguins_df.columns)
fig.show()

sns.boxplot(
    data=penguins_df,
    x='flipper_length_mm',
    y='species',
    palette=penguin_color
)
```sns.boxplot(    data=penguins\_df,    x='flipper\_length\_mm',    y='species',    palette=penguin\_color)

Ejercicio de obtención de medidas de dispersión

Introducción al análisis exploratorio de datos

¿Qué es y para qué sirve el análisis exploratorio de datos?

¿Cómo hacer un análisis exploratorio de datos?

Tipos de análisis de datos

Tipos de datos y análisis de variables

Herramientas de software para el análisis exploratorio de datos

Conociendo nuestros datos: palmerpenguins

Recolección de datos, limpieza y validación

Ejercicio de validación de datos

Análisis univariado

Explorando una variable categórica: conteos y proporciones

Estadística descriptiva aplicada: medidas de tendencia central

Estadística descriptiva aplicada: medidas de dispersión

Ejercicio de obtención de medidas de dispersión

Estadística descriptiva aplicada: distribuciones

Estadística descriptiva aplicada: funciones de densidad de probabilidad

Bonus: Teorema del límite central

Análisis bivariado

Estableciendo relaciones: gráficos de puntos

Estableciendo relaciones: gráficos de violín y boxplots

Estableciendo relaciones: matrices de correlación

Limitantes de los coeficientes de correlación lineal

Estableciendo relaciones: análisis de regresión simple

Limitaciones del análisis de regresión simple

Análisis multivariado

Análisis de regresión múltiple

Visualización del análisis de regresión múltiple

Análisis de regresión logística

Paradoja de Simpson

¿Qué hacer cuando tengo muchas variables?

Conclusiones

Diversidad de gráficas al explorar datos

Continúa aprendiendo sobre EDA