Ejercicio de obtención de medidas de dispersión
Contenido del curso
Jhon Edward Bedoya
Fernando Jesús Núñez Valdez
Jhon Edward Bedoya
Carlos Mazzaroli
Naren Fragozo
Eduardo Hoppenstedt
Profesor
Jeinfferson Bernal G
Miguel Sánchez Guerrero
Jeinfferson Bernal G
Marlon Yuleison Mosquera Sánchez
Christian Rangel
Yonatan Efraín Jara Boza
Sergei Beltran
Carlos Mazzaroli
Roger Christian Cansaya Olazabal
Mauricio Escobar
María Eugenia Pereira Chévez
María José Medina
Jeison Esteban Gaviria Moncayo
Jeinfferson Bernal G
Daniela Mendoza Redondo
Fernando Jesús Núñez Valdez
María Eugenia Pereira Chévez
sebastián Giraldo Vargas
Juan R. Vergara M.
Alfonso Andres Zapata Guzman
Alfonso Andres Zapata Guzman
Alfonso Andres Zapata Guzman
Diego Cesar Lerma Torres
Nestor Enrique Martínez Guillén
Laura Juliana Piraneque Esquivel
Daniel Castañeda
Es interesante ver la distribución del conjunto de datos de las tres especies. 🤔
Ciertamente, parece bimodal, aunque posiblemente al normalizar la data, encontraremos algún factor influyente que cambie este panorama 📊
var_flipper_len = processed_penguins_df['flipper_length_mm'] g=sns.histplot( data=processed_penguins_df, x='flipper_length_mm', binwidth=1, hue='species', alpha=.5 ) g.set_title('Penguins Flipper Length Distribution', y=1.03) # Mean(Red) plt.axvline( x =var_flipper_len.mean(), linestyle="dashed", color="r", linewidth=2 ) # Median(Green) plt.axvline( x=var_flipper_len.median(), linestyle="dashed", color="g", linewidth=2 ) # Q_75(Black) plt.axvline( x=var_flipper_len.quantile(0.75), linestyle="dashed", color="k", linewidth=2 ) # Q_25(Black) plt.axvline( x=var_flipper_len.quantile(0.25), linestyle="dashed", color="k", linewidth=2 ) plt.text(184.7,17.5, 'Q(25%)', fontsize=12) plt.text(192,17.5, 'median', fontsize=12, color='g') plt.text(201.5,17.5, 'mean', fontsize=12, color='r') plt.text(213.5,17.5, 'Q(75%)', fontsize=12) plt.show()
Y aquí el boxplot para cada especie:
sns.boxplot( data=process_penguins_df, x='flipper_length_mm', y='species' )
@Fernutz está cool tu aporte 🦾
Aca visualizamos la distribucion de las distintas caracteristicas por especie
numeric_columns = penguins_df.select_dtypes(include=np.number).columns fig,ax = plt.subplots(1,len(numeric_columns), figsize=(15,5)) for i in range(len(numeric_columns)): sns.histplot( ax=ax[i], data=penguins_df, x=numeric_columns[i], multiple='stack', hue='species', bins=15, palette=penguin_color, kde=True, )
Aca visualizamos una caracteristica en especifico con su media respectiva, cuantiles y ya separadas las especies
species = penguins_df.species.unique() adelie_df = penguins_df.query("species == 'Adelie'") gentoo_df = penguins_df.query("species == 'Gentoo'") chinstrap_df = penguins_df.query("species == 'Chinstrap'") list = [adelie_df,gentoo_df,chinstrap_df]
fig,ax = plt.subplots(1,len(list), figsize=(15,5), sharey=True) for i in range(len(list)): sns.histplot( ax=ax[i], data=list[i], x='flipper_length_mm', multiple='layer', hue='species', bins=15, kde=True, palette=penguin_color, ) ax[i].axvline( x=list[i]['flipper_length_mm'].mean(), color='red' ) ax[i].axvline( x=list[i]['flipper_length_mm'].quantile(.25), color='blue' ) ax[i].axvline( x=list[i]['flipper_length_mm'].quantile(.75), color='blue' )```
numeric_columns = df_preprocess_penguins.select_dtypes(include=np.number).columns fig, ax = plt.subplots(1, len(numeric_columns), figsize=(24,5)) for i, col in enumerate(numeric_columns): sns.histplot( data=df_preprocess_penguins, ax=ax[i], x=col, hue="species", binwidth=1, bins="auto", kde=True, alpha=.5, element="step", common_norm=False, stat="density", ) ax[i].set_title(col) ax[i].set_xlabel(None) ax[i].set_ylabel("Density") plt.tight_layout()
En este caso, la distribución pareciera bimodal pero se debe a que las 3 especies tienen distribuciones distintas, sin embargo, cada especie pareciera tener una distribución normal. Las lineas rojas y azules marcan la media y desviación estandar de toda la población:
Muy buen aporte.
¿Cuál es el valor Freedman-Diaconis?
Después de la función la declaramos. Para Flipper_length_mm: 3.3 :point_down:
Muy buen aporte. Resolvio mi duda!
Excelente, Gracias!
El profesor en el minuto 5:20 indica que el valor del cuartil 50% es igual al valor de la media, pero creo que se refiere a la mediana. Porque esos valores corresponde a la mediana.
Sí, se refiere a la mediana o median. Todavía no se ha evaluado si las distribuciones son simétricas o no.
Las gráficas boxenplot nos ayudan a identificar un poco mejor la distribución de nuestros datos sin necesidad de hacer un histplot. Es tan versatil que podemos ajustar la cantidad de quantiles que queremos relfejar. Aunque es más útil cuando hay mayor cantidad de datos puede influir en una mejor interpretación:
sns.boxenplot( data=preprocess_penguins_df, x="flipper_length_mm", y="species", palette=penguin_color, k_depth=4 );
Un plus sería analizarlos por sexo:
Para poder hacer una comparación rápida entre las variables de los pinguineins
species = penguins_df.species.unique() adelie_df = penguins_df.query("species == 'Adelie'") gentoo_df = penguins_df.query("species == 'Gentoo'") chinstrap_df = penguins_df.query("species == 'Chinstrap'") list = [adelie_df,gentoo_df,chinstrap_df] numeric_columns = penguins_df.select_dtypes(include=np.number).columns
fig,ax = plt.subplots(len(numeric_columns),len(list),sharey=True, figsize=(15,12)) for j in range(len(numeric_columns)): for i in range(len(list)): sns.histplot( ax=ax[j][i], data=list[i], x=numeric_columns[j], multiple='stack', hue='species', bins=15, kde=True, palette=penguin_color, ) ax[j][i].set_ylabel(f'{numeric_columns[j]}') ax[j][i].set_xlabel(f'{species[i]}') ax[j][i].get_legend().remove()
Menos codigo mas accion.
sns.histplot( data=processed_penguins_df, x='flipper_length_mm' ) x_stats = [ [processed_penguins_df.flipper_length_mm.mean(),'r',2], [processed_penguins_df.flipper_length_mm.median(),'g',2], [processed_penguins_df.flipper_length_mm.mode().max(),'y',2], [processed_penguins_df.flipper_length_mm.quantile(0.75),'k',2], [processed_penguins_df.flipper_length_mm.quantile(0.25),'k',1] ] [plt.axvline( x=value[0], color=value[1], linestyle='dashed', linewidth=value[2] ) for value in x_stats] heigth = 75 plt.text(processed_penguins_df.flipper_length_mm.quantile(0.25)+ 0.25,heigth, 'Q(25%)', fontsize=12) plt.text(processed_penguins_df.flipper_length_mm.mode().max() + 0.25,heigth-3, 'mode', fontsize=12, color='y') plt.text(processed_penguins_df.flipper_length_mm.median() + 0.25,heigth-6, 'median', fontsize=12, color='g') plt.text(processed_penguins_df.flipper_length_mm.mean()+ 0.25,heigth-9, 'mean', fontsize=12, color='r') plt.text(processed_penguins_df.flipper_length_mm.quantile(0.75)+0.25,heigth, 'Q(75%)', fontsize=12)
Con la longitud del pico pingüinesco:
*La Isla Biscoe es la más densamente poblada: En ella, los pingüinos suelen tener una longitud del pico promedio, también es donde podemos encontrar la mayor cantidad de pingüinos con el pico más grande, aunque no es una cantidad significativa
Determinación el tamaño de binwidth del histograma mediante la regla de Freedman-Diaconis
Los histogramas se utilizan para estimar la distribución de probabilidad de una variable aleatoria continua. Se utilizan con frecuencia como punto de partida del análisis exploratorio de datos y proporcionan información sobre la forma y la variabilidad de los datos en cuestión. Uno de los desafíos en la construcción de histogramas es seleccionar el número óptimo de contenedores (o, análogamente, el ancho de cada contenedor). Para ayudar a determinar un ancho de intervalo razonable, podemos aprovechar la regla de Freedman-Diaconis, que fue diseñada para minimizar la diferencia entre el área bajo la distribución de probabilidad empírica y el área bajo la distribución de probabilidad teórica.
Formalmente, la regla toma como entrada el rango intercuartílico IQR(x) y el número de observaciones n en el conjunto de datos empíricos, y devuelve una estimación del ancho del intervalo. La regla se puede expresar como:
$$Bin~width = 2 \frac{IQR(x)}{\sqrt{n}}$$
sns.histplot(data=penguins_df_final, x="flipper_length_mm", kde=True, binwidth=freedman_diaconis_bindwidth(penguins_df_final.bill_length_mm)); plt.axvline(x=penguins_df_final.flipper_length_mm.mean(), color = 'red', linestyle='dashed', linewidth=2);
Para complementar el ultimo comentario de la clase, les comparto el Anscombe's Quartet:
Never trust summary statistics alone; always visualize your data
Aquí mi histograma con bins=3 y haciendo hue='species':
sns.histplot( data = preprocess_penguins_df, x='flipper_length_mm', hue='species', palette=penguin_color, binwidth=3 ) plt.axvline( x=preprocess_penguins_df.flipper_length_mm.mean(), color = 'red', linestyle = 'dashed', linewidth=3 ) plt.axvline( x=preprocess_penguins_df.flipper_length_mm.median(), color = 'green', linestyle = 'dashed', linewidth=3 ) plt.text(preprocess_penguins_df.flipper_length_mm.median(),30, 'median', fontsize=12, color='g') plt.text(preprocess_penguins_df.flipper_length_mm.mean(), 30, 'mean', fontsize=12, color='r') plt.show()```
Medidas de Dispersion Notebook
dataFrame.max(numeric_only=True)
dataFrame.min(numeric_only=True)
( dataFrame .quantile(q=[0.75,0.50,0.25]) .transpose() .rename_axis('variable') .reset_index() .assign( iqr=lambda df: df[0.75] - df[0.25] ) )
#histograma sns.histplot( data=preprocessed_penguins_df, x='flipper_length_mm' ) #trazar la media en la grafica plt.axvline( x=preprocessed_penguins_df.flipper_length_mm.mean(), color='red', linestyle='dashed', linewidth=2 )
sns.boxplot( data=preprocessed_penguins_df, x='flipper_length_mm', )
¿Por qué no es posible calcular la moda?
<ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all(). sns.histplot( data=processed_penguins_df, x='flipper_length_mm', binwidth=1, hue= 'species' ) #Median plt.axvline( x=processed_penguins_df.flipper_length_mm.median(), color='red', linestyle='dashed', linewidth=1 ) #Mean plt.axvline( x=processed_penguins_df.flipper_length_mm.mean(), color='green', linestyle='dashed', linewidth=1 ) #Mode plt.axvline( x=processed_penguins_df.flipper_length_mm.mode(), color='grey', linestyle='dashed', linewidth=1 )>
Bueno, pues creo síes posible, este es mi resultado:
process_penguins_df.flipper_length_mm.mode()
0 190.0 dtype: float64
Tienes que indicarle .max()
plt.axvline(x=penguins_df_final.flipper_length_mm.mode().max(), color='green', linestyle = 'dashdot', linewidth= 3);
La proporción de los pinguinos por isla:
Luego, hice un hist para comparar la masa en cada isla. Al parecer también muchas comparaciones serán bimodales ya que serán pinguinos de islas distintas, pero al parecer los pinguinos en la isla biscoe son más gorditos
👍✔
fig = px.histogram(processed_penguins_df, x="flipper_length_mm", marginal="box", color='species', opacity=0.8, hover_data=processed_penguins_df.columns) fig.show()
fig = px.box(processed_penguins_df, y="flipper_length_mm", color='species', points="all") fig.show()
Con plotly en un solo grafico podemos visualizar ambas graficas y ver los valores de los quartiles, media, min, max, sin necesidad de agregar lineas adicionales. Ademas podemos desmarcar en la legenda las distintas especies y ver como se comportan en solitario, de esta manera podemos apreciar que cada especie tiene su campana de gauss en solitario.
Por cierto hay un Swapping entre la clase 12 y 13.
También si corregimos el boxplot por especie da lo siguiente:
sns.boxplot( data=penguins_df, x='flipper_length_mm', y='species', palette=penguin_color ) ```sns.boxplot( data=penguins\_df, x='flipper\_length\_mm', y='species', palette=penguin\_color)
¡Hola! Comparto las gráficas que realicé:
Una distribución bimodal es aquella que presenta dos picos o máximos en su representación gráfica. Esto puede indicar que los datos provienen de dos grupos distintos que tienen características diferentes, lo que puede suceder en contextos como:
Es importante analizar el contexto para entender su origen.
