Estadística descriptiva aplicada: distribuciones

Les dejo los códigos de las graficas CDF

Primera:

cdf_flipper_length_mm.plot()

q = 200
p = cdf_flipper_length_mm.forward(q)

plt.vlines(
    x=q,
    ymin=0,
    ymax=p,
    color='black',
    linestyle='dashed'
)

plt.hlines(
    y=p,
    xmin=pmf_flipper_length_mm.qs[0],
    xmax=q,
    color='black',
    linestyle='dashed'
)

plt.plot(q,p, 'ro')

Segunda:

cdf_flipper_length_mm.step ( )
p_1 = 8.25 # Specify probability
P_2 = 8.75
ps = ( 0.25 , 0.75 ) # IQR
qs = cdf_flipper_length_mm.inverse(ps)
plt.vlines (
    x = qs,
    ymin = 0,
    ymax=ps,
    color='black',
    linestyle='dashed'
)

plt.hlines(
   y=ps,
   xmin=pmf_flipper_length_mm.qs[0],
   xmax=qs,
   color='black',
   linestyle='dashed'
)

plt.scatter(
   x=qs,
   y=ps,
   color='red',
   zorder=2
)

Estadistica Descriptiva Aplicada: Distribuciones

Funcion de Probabilidad de masas (PMFs)

Nos dice la probabilidad de que una variable aleatoria discreta tome un valor determinado. Ejemplo, la probabilidad de que en un salon hayan personas con una edad especifica

Funcion de Distribucion Acumulada (CDFs)

Devuelve la probabilidad de que una variable sea igual o menor que un valor determinado. Ejemplo, la probabilidad de que en un salon hayan personas menores o iguales a una edad especifica.

Función de Probabilidad de Densidad (PDFs)

Determine la probabilidad de que una variable continua tome un valor determinado. Ejemplo, la probabilidad de que en el salón hayan personar con una altura especifica

Con Pandas, el rango interquartil muestra que 25% es 190 y 75% es 213, mostrando una clara consistencia con la gráfica:

pmf_flipper_length_mm.describe()

Me fascinó esto de hacer preguntas de una probabilidad específica con empiricaldist, no sabía que se podía hacer así.

Calculo de la Funcion Empirica de Probabilidad Acumulada (ECDFs)

• Calculo de ECDFs utilizando seaborn

sns.ecdfplot(
    data=dataFrame,
    x='nombre_variable'
)

• Calculo de la ECDFs en formato de tabla utilizando empiricaldist

#calculo de la funcion de probabilidad acumulada
cdf_variable = empiricaldist.Cdf.from_seq(
    dataFrame.nombre_variable,
    normalize=True
)
cdf_variable

• Calculo de la probabilidad de una variable que sea igual o menor a un valor determinado con La ECDFs

q = 200 #valor de referencia. Todos los menores o iguales a q
p = cdf_variable.forward(q) #probabilidad
print(q, p)

• Grafica de la probabilidad de que la variable tenga un valor igual o menor a un valor determinado con la ECDFs

#grafica de Cdf
cdf_variable.plot()

#calcular la probabilidad de forma manual
q = 190
p = cdf_variable.forward(q)

#trazo de linea vertical en la grafica
plt.vlines(
    x=q,
    ymin=0,
    ymax=p,
    color='black',
    linestyles='dashed'
)

#trazo de linea horizontal en la grafica
plt.hlines(
    y=p,
    xmin=pmf_variable.qs[0],
    xmax=q,
    color='black',
    linestyles='dashed'
)

plt.plot(q, p, 'ro')

• Calculo de un valor en funcion de una probabilidad dada con la ECDFs

#definir la probabilidad
ps = 0.25
#obtener el valor dada la probabilidad
qs = cdf_variable.inverse(ps)
#mostrar los valores
print(ps, qs)

• Relacion entre el IQR y la grafica de la ECDFs

#calculo de un valor en funcion de la probabilidad dada
cdf_variable.step()

#especificar probabilidades
p_1 = 0.25
p_2 = 0.75

#IQR
ps = (0.25, 0.75)

#obtener el valor dada la probabilidad
qs = cdf_variable.inverse(ps)

plt.vlines(
    x=qs,
    ymin=0,
    ymax=ps,
    color='black',
    linestyles='dashed'
)

plt.hlines(
    y=ps,
    xmin=pmf_variable.qs[0],
    xmax=qs,
    color='black',
    linestyles='dashed'
)

plt.scatter(
    x=qs,
    y=ps,
    color='red',
    zorder=2
)

Del codigo anterior, se muestra que los valores obtenidos tanto para la probabilidad 0.25 como para la 0.75 coinciden con los valores correspondientes al IQR

• Comparando distribuciones. Se realiza cuando la variable en estudio pertenece o varias categorias. Entonces, para cada categoria vamos a tener una distribucion

sns.ecdfplot(
    data=dataFrame,
    x='nombre_variable',
    hue='nombre_category',
    palette=paleta_de_color_definida
)

La libreria empiricaldist nos permite tener un mayor control de las probabilidades que la libreria seaborn. Seaborn es utilizada para un vistazo general de las probabilidades; para responder preguntas de probabilidad y tener una mejor visualizacion se utliza empiricaldist

esta clase deberia estar antes de estadística descriptiva , o deberían usar la misma metodología que esta buena

Empiricaldist: Libreria de Python que representa distribuciones empiricas.

Calculo de la Funcion de Probabilidad de Masas (PMFs)

• Funcion de Probabilidad de Masas utilizando seaborn

sns.histplot(
    data=dataFrame,
    x='nombre_variable',
    binwidth=1,
    stat='probability' # parametro que convierte los conteos en probabilidades 
)                      # PMFs

• Tabla de PMFs de una variable del dataFrame utilizando la librería empiricaldist. Esta libreria posee muchas funcionalidades relacionadas a las probabilidades

pmf_variable = empiricaldist.Pmf.from_seq(
    df.nombre_variable,
    normalize=True  #True muestra las probabilidades, False muestra los conteos
)

• Gráfica de las PMFs con empiricaldist

pmf_variable.bar()

• Calculo de la PMFs de un valor especifico

La función de probabilidad de densidad se utiliza para variables continuas. El profesor tiene un error conceptual al explicarla. Y es que según una distribución de probabilidad continua. La probabilidad de un suceso en un punto es 0. Ya que los intervalos se calculan con integrales (el área calculada entre el piso y la curva de la distribución entre los puntos).
Desde un punto de vista teórico, según un pdf, la probabilidad en un punto es de 0.

Para profundizar un poco mas en la librería empiricaldist

https://nbviewer.org/github/AllenDowney/empiricaldist/blob/master/empiricaldist/dist_demo.ipynb

En orden del Deepnote esta lección es la 13 no la 12

A modo de aporte les comparto: Quise hacer una función con el fin de graficar la curva de probabilidad acumulada de modo tal que se pueda utilizar rápidamente con cualquiera de las columnas y el valor que queramos consultar, así quedó:

def graf_prob_acum(columna, medida):
    
    cdf_variable = empiricaldist.Cdf.from_seq(
    process_penguin_df[columna],
    normalize = True
    )
    
    cdf_variable.plot()

    q = medida
    p = cdf_variable.forward(q)
    
    plt.title(columna, loc = 'left')

    plt.vlines(
        x=q,
        ymin=0,
        ymax=p,
        color='black',
        linestyle='dashed'
    )

    plt.hlines(
        y=p,
        xmin=cdf_variable.qs[0],
        xmax=q,
        color='black',
        linestyle='dashed'
    )

    plt.plot(q,p, 'ro')

De esta forma podemos realizar cualquier gráfica únicamente invocando la función:

print(graf_prob_acum('body_mass_g', 3500))

Creo que incluso se podría modificar la función para que quede mucho más genérica y se pueda utilizar con cualquier otro dataframe, añadiendo el parámetro de entrada dataframe y reemplazándolo por el de pinguinos.

Probability Distribution Functions (PMF, PDF, CDF)
https://www.youtube.com/watch?v=YXLVjCKVP7U

En caso de que quieran ver los datos de las probabilidades en porcentajes

result = empiricaldist.Pmf.from_seq(processed_penguins_df.flipper_length_mm)

result_1 = result[:].map('{:.2%}'.format)
result_1

cdf_flipper_length_mm.step ( )
p_1 = 8.25 # Specify probability
P_2 = 8.75
ps = ( 0.25 , 0.75 ) # IQR
qs = cdf_flipper_length_mm.inverse(ps)
plt.vlines (
    x = qs,
    ymin = 0,
    ymax=ps,
    color='black',
    linestyle='dashed'
)

plt.hlines(
   y=ps,
   xmin=pmf_flipper_length_mm.qs[0],
   xmax=qs,
   color='black',
   linestyle='dashed'
)

plt.scatter(
   x=qs,
   y=ps,
   color='red',
   zorder=2
)

empiricaldist

Es una librería de Python que proporciona herramientas para trabajar con distribuciones empíricas, es decir, distribuciones que se basan en datos reales y no en una función matemática teórica.

Esta librería ofrece una forma sencilla de obtener información sobre las distribuciones empíricas, como el cálculo de estadísticas descriptivas, la visualización de histogramas, la estimación de la densidad de probabilidad y la generación de muestras aleatorias

Aquí te muestro un ejemplo de cómo utilizar empiricaldistel conjunto de datos de penguinspara obtener la distribución empírica de la longitud del pico de los pingüinos:

Con Python

import empiricaldist
import palmerpenguins

# Cargamos el dataset de penguins
penguins = palmerpenguins.load_penguins()

# Seleccionamos la longitud del pico de los pingüinos Adelie
adelie_bill_length = penguins.loc[penguins['species']=='Adelie', 'bill_length_mm']

# Creamos una distribución empírica a partir de los datos
adelie_bill_length_dist = empiricaldist.EmpiricalDist(adelie_bill_length)

# Calculamos algunas estadísticas descriptivas
print("Media:", adelie_bill_length_dist.mean())
print("Mediana:", adelie_bill_length_dist.median())
print("Desviación estándar:", adelie_bill_length_dist.std())

# Visualizamos el histograma de la distribución empírica
adelie_bill_length_dist.plot()

En este ejemplo, cargamos el conjunto de datos de penguinsutilizando la función load_penguins()de la librería palmerpenguins, y luego seleccionamos la longitud del pico de los pingüinos de la especie Adelie. A continuación, creamos una distribución empírica utilizando la clase EmpiricalDistde empiricaldist, a partir de los datos de longitud del pico de los pingüinos Adelie. Luego, calculamos algunas estadísticas descriptivas como los medios, la mediana y la desviación estándar de la distribución empírica. Finalmente, visualizamos el histograma de la distribución empírica utilizando el método plot().

Función de probabilidad de masas (PMFs):

• La función de probabilidad de masas (PMF) es una función que describe la probabilidad de que una variable aleatoria discreta tome un valor específico. En otras palabras, la PMF es una función que asigna una probabilidad a cada posible valor de una variable aleatoria discreta. La PMF se denota a menudo como P(X = x), donde X es la variable aleatoria y x es el valor para el cual queremos calcular la probabilidad.

Función de distribución acumulada (CDFs):

• Un ejemplo de una CDF sería el tiempo que tarda un autobús en llegar a una parada de autobús. Si la media de tiempo es de 10 minutos y la desviación estándar es de 2 minutos, podemos usar una distribución normal para modelar la variable aleatoria. La CDF para esta variable aleatoria nos daría la probabilidad acumulada de que el autobús llegue en un tiempo igual o menor a cierto valor, como F(8) = 0.1587, F(10) = 0.5, y F(12) = 0.8413.

Función de probabilidad de densidad (PDFs):

• Un ejemplo de una PDF sería la altura de una población. La variable aleatoria es la altura de una persona, que puede tomar cualquier valor entre 0 y infinito. La PDF para esta variable aleatoria sería una función que nos da la probabilidad relativa de que una persona tenga una altura en un intervalo específico, como f(x) = 0.05 para alturas entre 160 y 170 cm, f(x) = 0.10 para alturas entre 170 y 180 cm, y f(x) = 0.03 para alturas entre 180 y 190 cm.

si tienen problemas para ejecutar el comando empiricaldist esto se debe a que no lo tienes instalado.
No te preocupes yo te ayudo 😏:
paso 1:

• instala empiricaldist ,como ?

!pip install empiricaldist

paso 2:

• importalo

import empiricaldist

no te olvides dar ♥️🙃

A mi me funciona pero sin elempiricaldist. que va alcomienzo, es decir en vez de from empiricaldist import Pmf

empiricaldist.Pmf.from_seq(df_penguins.flipper_length_mm, normalize=True)
’’'
Me sirve:

from empiricaldist import Pmf

pmf_flipper_length_mm = Pmf.from_seq(df_penguins.flipper_length_mm, normalize=True)
print(pmf_flipper_length_mm)

emipircaldist no me funcionaba (23/ENERO/2023

https://anaconda.org/conda-forge/empyrical-dist

y si la instale usando pip PERO al ejecutarla me decia que falta un modulo llamado spicy

yo uso conda ya que me parce mas facil, ahi use este codigo << conda install -c conda-forge empyrical-dist >> y me descargo la libreria para importarla y usarla en un cuaderno la escribo empyrical_dist y de esta forma no me presenta problema

segun lo que lei esta libreria no cumple con unos estandares asi gg

No entiendo para que sirve la función .forward() si sin ella igual serviría.
Tampoco porqué siempre ponía pmf_flipper_length_mm.qs[0], y no cdf_flipper_length_mm.qs[0], si aún asi da el mismo resultado.
Debería explicar un poco mejor el código y más si estaba hecho y solo era copiar y pegarlo.

import plotly.figure_factory as ff

hist_data = []
hist_color = []

group_labels = ['Adelie', 'Gentoo', 'Chinstrap'] # name of the dataset

for x in group_labels:
    hist_data.append(processed_penguins_df[processed_penguins_df['species'] == x]['flipper_length_mm'])
    hist_color.append(penguin_color[x])

fig = ff.create_distplot(hist_data, group_labels, histnorm='probability density', bin_size=1, colors=hist_color)
fig.show()

fig = px.ecdf(processed_penguins_df, x="flipper_length_mm", color='species', marginal="box", color_discrete_map=penguin_color)
fig.show()

Otra clase muy enriquesedora, gran curso 🥇

Es interesante el uso de las distribuciones para obtener datos de probabilidad de los campos numericos y categoricos. Es muy util a tener en cuenta en un trabajo real.

Para pruebas de bondad de ajuste con Python recomiendo
Phitter Library

import phitter

data: list[int | float] = [...]

phitter_cont = phitter.PHITTER(
    data=data,
    fit_type="continuous",
    num_bins=15,
    confidence_level=0.95,
    minimum_sse=1e-2,
    distributions_to_fit=["beta", "normal", "fatigue_life", "triangular"],
)
phitter_cont.fit(n_workers=6)

La función inversa de la Función de Distribución Acumulada para los valores 0.25 y 0.75

¡Qué dolor de cabeza este recurso utilizado en Deepnote: demasíado lento y el notebook sin escritura, entonces, triplemente lento… Así el curso no rinde: esperando que deepnote funcione…zzzz)! Una leeción de 17 minutos se convierte en una hora o más.

¡por favor @Platzi: no vuelvan a usar Deepnote!

si la libreria de empiricaldist no les funciona, intenten con este:
from empiricaldist import Pmf, Cdf

13. Estadística descriptiva aplicada: distribuciones

¿Cómo visualizar una distribución?

• Histograma.
• Función de probabilidad de masas (PMFs): Nos dice la probabilidad de que una variable aleatoria discreta tome un valor determinado.
• Función de distribución acumulada (CDFs): Devuelve la probabilidad de que una variable sea igual o menor que un valor determinado.
• Función de probabilidad de densidad (PDFs): Determina la probabilidad de que una variable continua tome un valor determinado.

La clase se pone cada vez mas interesante.

PMF = Función de probabilidad de masas (cuando quiero saber la probabilidad de que una variable discreta tome un valor)
empiricaldist.Pmf.from_seq(data.variable)
CDFs = Función de probabilidad acumulada ( probabilidad de que una variable sea igual o menor a un valor).
empiricaldist.Cdf.from_seq(data.variable)
PDFs = Función de probabilidad de densidad (cuando quiero saber la probabilidad de que una variable continua tome un valor)

Antes de continuar con el curso, tuve que ver el curso de probabilidad (No lo había terminado) para poder entender mejor de aqui para adelante. Ahora cuándo habla de ciertos conceptos lo puedo seguir de una mejor manera 👾

Me gustaron estas las aplicaciones de la librería empiricaldist, no las conocía, gracias profe!

In probability and statistics, a probability mass function is a function that gives the probability that a discrete random variable is exactly equal to some value. Sometimes it is also known as the discrete density function. The probability mass function is often the primary means of defining a discrete probability distribution, and such functions exist for either scalar or multivariate random variables whose domain is discrete.
A probability mass function differs from a probability density function (PDF) in that the latter is associated with continuous rather than discrete random variables. A PDF must be integrated over an interval to yield a probability.
The value of the random variable having the largest probability mass is called the mode.