Ejercicio de obtención de medidas de dispersión

Curso de Análisis Exploratorio de Datos

Contenido del curso

Introducción al análisis exploratorio de datos

Análisis univariado

Análisis bivariado

Análisis multivariado

Conclusiones

Tomar examen

Ejercicio de obtención de medidas de dispersión

Comentarios75

Jhon Edward Bedoya

Estudiante

Es interesante ver la distribución del conjunto de datos de las tres especies. 🤔

Ciertamente, parece bimodal, aunque posiblemente al normalizar la data, encontraremos algún factor influyente que cambie este panorama 📊


var_flipper_len = processed_penguins_df['flipper_length_mm']

g=sns.histplot(
    data=processed_penguins_df,
    x='flipper_length_mm',
    binwidth=1,
    hue='species',
    alpha=.5
)
g.set_title('Penguins Flipper Length Distribution', y=1.03)

# Mean(Red)
plt.axvline(
    x =var_flipper_len.mean(),
    linestyle="dashed",
    color="r",
    linewidth=2
)

# Median(Green)
plt.axvline(
    x=var_flipper_len.median(),
    linestyle="dashed",
    color="g",
    linewidth=2
)

# Q_75(Black)
plt.axvline(
    x=var_flipper_len.quantile(0.75),
    linestyle="dashed",
    color="k",
    linewidth=2
)

# Q_25(Black)
plt.axvline(
    x=var_flipper_len.quantile(0.25),
    linestyle="dashed",
    color="k",
    linewidth=2
)

plt.text(184.7,17.5, 'Q(25%)', fontsize=12)
plt.text(192,17.5, 'median', fontsize=12, color='g')
plt.text(201.5,17.5, 'mean', fontsize=12, color='r')
plt.text(213.5,17.5, 'Q(75%)', fontsize=12)

plt.show()

Fernando Jesús Núñez Valdez

Estudiante

Y aquí el boxplot para cada especie:

sns.boxplot(
    data=process_penguins_df,
    x='flipper_length_mm',
    y='species'
)

Jhon Edward Bedoya

Estudiante

@Fernutz está cool tu aporte 🦾

Carlos Mazzaroli

Estudiante

Aca visualizamos la distribucion de las distintas caracteristicas por especie

numeric_columns = penguins_df.select_dtypes(include=np.number).columns

fig,ax = plt.subplots(1,len(numeric_columns), figsize=(15,5))

for i in range(len(numeric_columns)):
    sns.histplot( 
        ax=ax[i],
        data=penguins_df,
        x=numeric_columns[i],
        multiple='stack',
        hue='species',
        bins=15,
        palette=penguin_color,
        kde=True,
        )

Aca visualizamos una caracteristica en especifico con su media respectiva, cuantiles y ya separadas las especies

species = penguins_df.species.unique()

adelie_df = penguins_df.query("species == 'Adelie'")
gentoo_df = penguins_df.query("species == 'Gentoo'")
chinstrap_df = penguins_df.query("species == 'Chinstrap'")

list = [adelie_df,gentoo_df,chinstrap_df]

fig,ax = plt.subplots(1,len(list), figsize=(15,5), sharey=True)

for i in range(len(list)):
    sns.histplot( 
        ax=ax[i],
        data=list[i],
        x='flipper_length_mm',
        multiple='layer',
        hue='species',
        bins=15,
        kde=True,
        palette=penguin_color,
        )

    ax[i].axvline(
        x=list[i]['flipper_length_mm'].mean(),
        color='red'
        )

    ax[i].axvline(
        x=list[i]['flipper_length_mm'].quantile(.25),
        color='blue'
        )

    ax[i].axvline(
        x=list[i]['flipper_length_mm'].quantile(.75),
        color='blue'
        )```

Naren Fragozo

Estudiante

numeric_columns = df_preprocess_penguins.select_dtypes(include=np.number).columns

fig, ax = plt.subplots(1, len(numeric_columns), figsize=(24,5))

for i, col in enumerate(numeric_columns):
    sns.histplot(
        data=df_preprocess_penguins,
        ax=ax[i],
        x=col,
        hue="species",
        binwidth=1,
        bins="auto",
        kde=True,
        alpha=.5,
        element="step",
        common_norm=False,
        stat="density",
    )
    
    ax[i].set_title(col)
    ax[i].set_xlabel(None)
    ax[i].set_ylabel("Density")

plt.tight_layout()

Eduardo Hoppenstedt

Profesor

En este caso, la distribución pareciera bimodal pero se debe a que las 3 especies tienen distribuciones distintas, sin embargo, cada especie pareciera tener una distribución normal. Las lineas rojas y azules marcan la media y desviación estandar de toda la población:

Jeinfferson Bernal G

Estudiante

Muy buen aporte.

Miguel Sánchez Guerrero

Estudiante

¿Cuál es el valor Freedman-Diaconis?

Después de la función la declaramos. Para Flipper_length_mm: 3.3 :point_down:

Jeinfferson Bernal G

Estudiante

Muy buen aporte. Resolvio mi duda!

Marlon Yuleison Mosquera Sánchez

Estudiante

Excelente, Gracias!

Christian Rangel

Estudiante

El profesor en el minuto 5:20 indica que el valor del cuartil 50% es igual al valor de la media, pero creo que se refiere a la mediana. Porque esos valores corresponde a la mediana.

Yonatan Efraín Jara Boza

Estudiante

Sí, se refiere a la mediana o median. Todavía no se ha evaluado si las distribuciones son simétricas o no.

Sergei Beltran

Estudiante

Las gráficas boxenplot nos ayudan a identificar un poco mejor la distribución de nuestros datos sin necesidad de hacer un histplot. Es tan versatil que podemos ajustar la cantidad de quantiles que queremos relfejar. Aunque es más útil cuando hay mayor cantidad de datos puede influir en una mejor interpretación:

sns.boxenplot(
    data=preprocess_penguins_df,
    x="flipper_length_mm",
    y="species",
    palette=penguin_color,
    k_depth=4
);

Un plus sería analizarlos por sexo:

Carlos Mazzaroli

Estudiante

Para poder hacer una comparación rápida entre las variables de los pinguineins

species = penguins_df.species.unique()

adelie_df = penguins_df.query("species == 'Adelie'")
gentoo_df = penguins_df.query("species == 'Gentoo'")
chinstrap_df = penguins_df.query("species == 'Chinstrap'")

list = [adelie_df,gentoo_df,chinstrap_df]
numeric_columns = penguins_df.select_dtypes(include=np.number).columns

fig,ax = plt.subplots(len(numeric_columns),len(list),sharey=True, figsize=(15,12))

for j in range(len(numeric_columns)):
    for i in range(len(list)):
        sns.histplot( 
            ax=ax[j][i],
            data=list[i],
            x=numeric_columns[j],
            multiple='stack',
            hue='species',
            bins=15,
            kde=True,
            palette=penguin_color,
            )
        

        ax[j][i].set_ylabel(f'{numeric_columns[j]}')
        ax[j][i].set_xlabel(f'{species[i]}')

        ax[j][i].get_legend().remove()

Roger Christian Cansaya Olazabal

Estudiante

Menos codigo mas accion.

sns.histplot(
    data=processed_penguins_df,
    x='flipper_length_mm'
)
x_stats = [
    [processed_penguins_df.flipper_length_mm.mean(),'r',2],
    [processed_penguins_df.flipper_length_mm.median(),'g',2],
    [processed_penguins_df.flipper_length_mm.mode().max(),'y',2],
    [processed_penguins_df.flipper_length_mm.quantile(0.75),'k',2],
    [processed_penguins_df.flipper_length_mm.quantile(0.25),'k',1]
    ]
 
[plt.axvline(
    x=value[0], 
    color=value[1],
    linestyle='dashed',
    linewidth=value[2]
    ) for value in x_stats]
    
heigth = 75
plt.text(processed_penguins_df.flipper_length_mm.quantile(0.25)+ 0.25,heigth, 'Q(25%)', fontsize=12)
plt.text(processed_penguins_df.flipper_length_mm.mode().max() + 0.25,heigth-3, 'mode', fontsize=12, color='y')
plt.text(processed_penguins_df.flipper_length_mm.median() + 0.25,heigth-6, 'median', fontsize=12, color='g')
plt.text(processed_penguins_df.flipper_length_mm.mean()+ 0.25,heigth-9, 'mean', fontsize=12, color='r')
plt.text(processed_penguins_df.flipper_length_mm.quantile(0.75)+0.25,heigth, 'Q(75%)', fontsize=12)

Mauricio Escobar

Estudiante

Con la longitud del pico pingüinesco:

*La Isla Biscoe es la más densamente poblada: En ella, los pingüinos suelen tener una longitud del pico promedio, también es donde podemos encontrar la mayor cantidad de pingüinos con el pico más grande, aunque no es una cantidad significativa

María Eugenia Pereira Chévez

Estudiante

Determinación el tamaño de binwidth del histograma mediante la regla de Freedman-Diaconis

Los histogramas se utilizan para estimar la distribución de probabilidad de una variable aleatoria continua. Se utilizan con frecuencia como punto de partida del análisis exploratorio de datos y proporcionan información sobre la forma y la variabilidad de los datos en cuestión. Uno de los desafíos en la construcción de histogramas es seleccionar el número óptimo de contenedores (o, análogamente, el ancho de cada contenedor). Para ayudar a determinar un ancho de intervalo razonable, podemos aprovechar la regla de Freedman-Diaconis, que fue diseñada para minimizar la diferencia entre el área bajo la distribución de probabilidad empírica y el área bajo la distribución de probabilidad teórica.

Formalmente, la regla toma como entrada el rango intercuartílico IQR(x) y el número de observaciones n en el conjunto de datos empíricos, y devuelve una estimación del ancho del intervalo. La regla se puede expresar como:

$$Bin~width = 2 \frac{IQR(x)}{\sqrt{n}}$$

sns.histplot(data=penguins_df_final, x="flipper_length_mm", kde=True, binwidth=freedman_diaconis_bindwidth(penguins_df_final.bill_length_mm));
plt.axvline(x=penguins_df_final.flipper_length_mm.mean(), color = 'red', linestyle='dashed', linewidth=2);

María José Medina

Estudiante

Para complementar el ultimo comentario de la clase, les comparto el Anscombe's Quartet:

Never trust summary statistics alone; always visualize your data

Jeison Esteban Gaviria Moncayo

Estudiante

Aquí mi histograma con bins=3 y haciendo hue='species':

sns.histplot(
    data = preprocess_penguins_df,
    x='flipper_length_mm',
    hue='species',
    palette=penguin_color,
    binwidth=3
)

plt.axvline(
    x=preprocess_penguins_df.flipper_length_mm.mean(),
    color = 'red',
    linestyle = 'dashed',
    linewidth=3
)
plt.axvline(
    x=preprocess_penguins_df.flipper_length_mm.median(),
    color = 'green',
    linestyle = 'dashed',
    linewidth=3
)

plt.text(preprocess_penguins_df.flipper_length_mm.median(),30, 'median', fontsize=12, color='g')
plt.text(preprocess_penguins_df.flipper_length_mm.mean(), 30, 'mean', fontsize=12, color='r')

plt.show()```

Jeinfferson Bernal G

Estudiante

Medidas de Dispersion Notebook

max() arroja los valores maximos de las variables del dataset. Utiliza el parametro numeric_only para obtener el maximo solo de las variables numericas

dataFrame.max(numeric_only=True)

min() arroja los valores minimos de las variables del dataset

dataFrame.min(numeric_only=True)

Calculo del rango intercuartil mostrado en una tabla

(
    dataFrame
    .quantile(q=[0.75,0.50,0.25])
    .transpose()
    .rename_axis('variable')
    .reset_index()
    .assign(
        iqr=lambda df: df[0.75] - df[0.25]
    )
)

Histograma de una variable del dataset

#histograma
sns.histplot(
    data=preprocessed_penguins_df,
    x='flipper_length_mm'
)

#trazar la media en la grafica
plt.axvline(
    x=preprocessed_penguins_df.flipper_length_mm.mean(),
    color='red',
    linestyle='dashed',
    linewidth=2
)

Diagrama de caja de una variable del dataset

sns.boxplot(
    data=preprocessed_penguins_df,
    x='flipper_length_mm',
)

Funcion Freedman Diaconis. Permite calcular el bin mas adecuado basados en el rango intercuartil

Daniela Mendoza Redondo

Estudiante

¿Por qué no es posible calcular la moda?

<ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().

sns.histplot(
    data=processed_penguins_df,
    x='flipper_length_mm',
    binwidth=1,
    hue= 'species'
)

#Median
plt.axvline(
    x=processed_penguins_df.flipper_length_mm.median(),
    color='red',
    linestyle='dashed',
    linewidth=1 
)
#Mean
plt.axvline(
    x=processed_penguins_df.flipper_length_mm.mean(),
    color='green',
    linestyle='dashed',
    linewidth=1
)
#Mode
plt.axvline(
    x=processed_penguins_df.flipper_length_mm.mode(),
    color='grey',
    linestyle='dashed',
    linewidth=1
)>

Fernando Jesús Núñez Valdez

Estudiante

Bueno, pues creo síes posible, este es mi resultado:

process_penguins_df.flipper_length_mm.mode()

0    190.0
dtype: float64

María Eugenia Pereira Chévez

Estudiante

Tienes que indicarle .max()

plt.axvline(x=penguins_df_final.flipper_length_mm.mode().max(), color='green', linestyle = 'dashdot', linewidth= 3);

sebastián Giraldo Vargas

Estudiante

La proporción de los pinguinos por isla:

Luego, hice un hist para comparar la masa en cada isla. Al parecer también muchas comparaciones serán bimodales ya que serán pinguinos de islas distintas, pero al parecer los pinguinos en la isla biscoe son más gorditos

Juan R. Vergara M.

Estudiante

👍✔

Alfonso Andres Zapata Guzman

Estudiante

fig = px.histogram(processed_penguins_df, x="flipper_length_mm",
                   marginal="box", color='species', opacity=0.8,
                   hover_data=processed_penguins_df.columns)
fig.show()

fig = px.box(processed_penguins_df, y="flipper_length_mm", color='species', points="all")
fig.show()

Alfonso Andres Zapata Guzman

Estudiante

Con plotly en un solo grafico podemos visualizar ambas graficas y ver los valores de los quartiles, media, min, max, sin necesidad de agregar lineas adicionales. Ademas podemos desmarcar en la legenda las distintas especies y ver como se comportan en solitario, de esta manera podemos apreciar que cada especie tiene su campana de gauss en solitario.

Alfonso Andres Zapata Guzman

Estudiante

Por cierto hay un Swapping entre la clase 12 y 13.

Diego Cesar Lerma Torres

Estudiante

También si corregimos el boxplot por especie da lo siguiente:

sns.boxplot(
    data=penguins_df,
    x='flipper_length_mm',
    y='species',
    palette=penguin_color
)
```sns.boxplot(    data=penguins\_df,    x='flipper\_length\_mm',    y='species',    palette=penguin\_color)

Nestor Enrique Martínez Guillén

Estudiante

Laura Juliana Piraneque Esquivel

Estudiante

¡Hola! Comparto las gráficas que realicé:

Con respecto a los histogramas y sus cuartiles:

Para los boxplots:

Daniel Castañeda

Estudiante

Una distribución bimodal es aquella que presenta dos picos o máximos en su representación gráfica. Esto puede indicar que los datos provienen de dos grupos distintos que tienen características diferentes, lo que puede suceder en contextos como:

Variación en las poblaciones: Dos subgrupos dentro de un conjunto de datos, como edades de estudiantes en diferentes niveles educativos.
Factores externos: Influencias externas que afectan a los datos, como estacionalidad en ventas.
Múltiples causas: Fenómenos que pueden ser impulsados por diferentes factores subyacentes.

Es importante analizar el contexto para entender su origen.

var_flipper_len = processed_penguins_df['flipper_length_mm']

g=sns.histplot(
    data=processed_penguins_df,
    x='flipper_length_mm',
    binwidth=1,
    hue='species',
    alpha=.5
)
g.set_title('Penguins Flipper Length Distribution', y=1.03)

# Mean(Red)
plt.axvline(
    x =var_flipper_len.mean(),
    linestyle="dashed",
    color="r",
    linewidth=2
)

# Median(Green)
plt.axvline(
    x=var_flipper_len.median(),
    linestyle="dashed",
    color="g",
    linewidth=2
)

# Q_75(Black)
plt.axvline(
    x=var_flipper_len.quantile(0.75),
    linestyle="dashed",
    color="k",
    linewidth=2
)

# Q_25(Black)
plt.axvline(
    x=var_flipper_len.quantile(0.25),
    linestyle="dashed",
    color="k",
    linewidth=2
)

plt.text(184.7,17.5, 'Q(25%)', fontsize=12)
plt.text(192,17.5, 'median', fontsize=12, color='g')
plt.text(201.5,17.5, 'mean', fontsize=12, color='r')
plt.text(213.5,17.5, 'Q(75%)', fontsize=12)

plt.show()

numeric_columns = penguins_df.select_dtypes(include=np.number).columns

fig,ax = plt.subplots(1,len(numeric_columns), figsize=(15,5))

for i in range(len(numeric_columns)):
    sns.histplot( 
        ax=ax[i],
        data=penguins_df,
        x=numeric_columns[i],
        multiple='stack',
        hue='species',
        bins=15,
        palette=penguin_color,
        kde=True,
        )

species = penguins_df.species.unique()

adelie_df = penguins_df.query("species == 'Adelie'")
gentoo_df = penguins_df.query("species == 'Gentoo'")
chinstrap_df = penguins_df.query("species == 'Chinstrap'")

list = [adelie_df,gentoo_df,chinstrap_df]

fig,ax = plt.subplots(1,len(list), figsize=(15,5), sharey=True)

for i in range(len(list)):
    sns.histplot( 
        ax=ax[i],
        data=list[i],
        x='flipper_length_mm',
        multiple='layer',
        hue='species',
        bins=15,
        kde=True,
        palette=penguin_color,
        )

    ax[i].axvline(
        x=list[i]['flipper_length_mm'].mean(),
        color='red'
        )

    ax[i].axvline(
        x=list[i]['flipper_length_mm'].quantile(.25),
        color='blue'
        )

    ax[i].axvline(
        x=list[i]['flipper_length_mm'].quantile(.75),
        color='blue'
        )```

numeric_columns = df_preprocess_penguins.select_dtypes(include=np.number).columns

fig, ax = plt.subplots(1, len(numeric_columns), figsize=(24,5))

for i, col in enumerate(numeric_columns):
    sns.histplot(
        data=df_preprocess_penguins,
        ax=ax[i],
        x=col,
        hue="species",
        binwidth=1,
        bins="auto",
        kde=True,
        alpha=.5,
        element="step",
        common_norm=False,
        stat="density",
    )
    
    ax[i].set_title(col)
    ax[i].set_xlabel(None)
    ax[i].set_ylabel("Density")

plt.tight_layout()

species = penguins_df.species.unique()

adelie_df = penguins_df.query("species == 'Adelie'")
gentoo_df = penguins_df.query("species == 'Gentoo'")
chinstrap_df = penguins_df.query("species == 'Chinstrap'")

list = [adelie_df,gentoo_df,chinstrap_df]
numeric_columns = penguins_df.select_dtypes(include=np.number).columns

fig,ax = plt.subplots(len(numeric_columns),len(list),sharey=True, figsize=(15,12))

for j in range(len(numeric_columns)):
    for i in range(len(list)):
        sns.histplot( 
            ax=ax[j][i],
            data=list[i],
            x=numeric_columns[j],
            multiple='stack',
            hue='species',
            bins=15,
            kde=True,
            palette=penguin_color,
            )
        

        ax[j][i].set_ylabel(f'{numeric_columns[j]}')
        ax[j][i].set_xlabel(f'{species[i]}')

        ax[j][i].get_legend().remove()

sns.histplot(
    data=processed_penguins_df,
    x='flipper_length_mm'
)
x_stats = [
    [processed_penguins_df.flipper_length_mm.mean(),'r',2],
    [processed_penguins_df.flipper_length_mm.median(),'g',2],
    [processed_penguins_df.flipper_length_mm.mode().max(),'y',2],
    [processed_penguins_df.flipper_length_mm.quantile(0.75),'k',2],
    [processed_penguins_df.flipper_length_mm.quantile(0.25),'k',1]
    ]
 
[plt.axvline(
    x=value[0], 
    color=value[1],
    linestyle='dashed',
    linewidth=value[2]
    ) for value in x_stats]
    
heigth = 75
plt.text(processed_penguins_df.flipper_length_mm.quantile(0.25)+ 0.25,heigth, 'Q(25%)', fontsize=12)
plt.text(processed_penguins_df.flipper_length_mm.mode().max() + 0.25,heigth-3, 'mode', fontsize=12, color='y')
plt.text(processed_penguins_df.flipper_length_mm.median() + 0.25,heigth-6, 'median', fontsize=12, color='g')
plt.text(processed_penguins_df.flipper_length_mm.mean()+ 0.25,heigth-9, 'mean', fontsize=12, color='r')
plt.text(processed_penguins_df.flipper_length_mm.quantile(0.75)+0.25,heigth, 'Q(75%)', fontsize=12)

sns.histplot(data=penguins_df_final, x="flipper_length_mm", kde=True, binwidth=freedman_diaconis_bindwidth(penguins_df_final.bill_length_mm));
plt.axvline(x=penguins_df_final.flipper_length_mm.mean(), color = 'red', linestyle='dashed', linewidth=2); 

sns.histplot(
    data = preprocess_penguins_df,
    x='flipper_length_mm',
    hue='species',
    palette=penguin_color,
    binwidth=3
)

plt.axvline(
    x=preprocess_penguins_df.flipper_length_mm.mean(),
    color = 'red',
    linestyle = 'dashed',
    linewidth=3
)
plt.axvline(
    x=preprocess_penguins_df.flipper_length_mm.median(),
    color = 'green',
    linestyle = 'dashed',
    linewidth=3
)

plt.text(preprocess_penguins_df.flipper_length_mm.median(),30, 'median', fontsize=12, color='g')
plt.text(preprocess_penguins_df.flipper_length_mm.mean(), 30, 'mean', fontsize=12, color='r')

plt.show()```

#histograma
sns.histplot(
    data=preprocessed_penguins_df,
    x='flipper_length_mm'
)

#trazar la media en la grafica
plt.axvline(
    x=preprocessed_penguins_df.flipper_length_mm.mean(),
    color='red',
    linestyle='dashed',
    linewidth=2
)

<ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().

sns.histplot(
    data=processed_penguins_df,
    x='flipper_length_mm',
    binwidth=1,
    hue= 'species'
)

#Median
plt.axvline(
    x=processed_penguins_df.flipper_length_mm.median(),
    color='red',
    linestyle='dashed',
    linewidth=1 
)
#Mean
plt.axvline(
    x=processed_penguins_df.flipper_length_mm.mean(),
    color='green',
    linestyle='dashed',
    linewidth=1
)
#Mode
plt.axvline(
    x=processed_penguins_df.flipper_length_mm.mode(),
    color='grey',
    linestyle='dashed',
    linewidth=1
)> 

fig = px.histogram(processed_penguins_df, x="flipper_length_mm",
                   marginal="box", color='species', opacity=0.8,
                   hover_data=processed_penguins_df.columns)
fig.show()

sns.boxplot(
    data=penguins_df,
    x='flipper_length_mm',
    y='species',
    palette=penguin_color
)
```sns.boxplot(    data=penguins\_df,    x='flipper\_length\_mm',    y='species',    palette=penguin\_color)

Ejercicio de obtención de medidas de dispersión

Introducción al análisis exploratorio de datos

¿Qué es y para qué sirve el análisis exploratorio de datos?

¿Cómo hacer un análisis exploratorio de datos?

Tipos de análisis de datos

Tipos de datos y análisis de variables

Herramientas de software para el análisis exploratorio de datos

Conociendo nuestros datos: palmerpenguins

Recolección de datos, limpieza y validación

Ejercicio de validación de datos

Análisis univariado

Explorando una variable categórica: conteos y proporciones

Estadística descriptiva aplicada: medidas de tendencia central

Estadística descriptiva aplicada: medidas de dispersión