Estadística descriptiva aplicada: distribuciones

Cursos Empresas Blog Live Conf Precios

Contenido del curso

Introducción al análisis exploratorio de datos

Análisis univariado

Análisis bivariado

Análisis multivariado

Conclusiones

Tomar examen

Estadística descriptiva aplicada: distribuciones

Comentarios

Luis Fernando Aguilar Sanchez

student

Les dejo los códigos de las graficas CDF

Primera:

cdf_flipper_length_mm.plot()

q = 200
p = cdf_flipper_length_mm.forward(q)

plt.vlines(
    x=q,
    ymin=0,
    ymax=p,
    color='black',
    linestyle='dashed'
)

plt.hlines(
    y=p,
    xmin=pmf_flipper_length_mm.qs[0],
    xmax=q,
    color='black',
    linestyle='dashed'
)

plt.plot(q,p, 'ro')

Segunda:

cdf_flipper_length_mm.step ( )
p_1 = 8.25 # Specify probability
P_2 = 8.75
ps = ( 0.25 , 0.75 ) # IQR
qs = cdf_flipper_length_mm.inverse(ps)
plt.vlines (
    x = qs,
    ymin = 0,
    ymax=ps,
    color='black',
    linestyle='dashed'
)

plt.hlines(
   y=ps,
   xmin=pmf_flipper_length_mm.qs[0],
   xmax=qs,
   color='black',
   linestyle='dashed'
)

plt.scatter(
   x=qs,
   y=ps,
   color='red',
   zorder=2
)

Adolfo Sebastián Jara Gavilanes

student

Muchas gracias!

Juan R. Vergara M.

student

Genial, gracias.

Jeinfferson Bernal G

student

Estadistica Descriptiva Aplicada: Distribuciones

Funcion de Probabilidad de masas (PMFs)

Nos dice la probabilidad de que una variable aleatoria discreta tome un valor determinado. Ejemplo, la probabilidad de que en un salon hayan personas con una edad especifica

Funcion de Distribucion Acumulada (CDFs)

Devuelve la probabilidad de que una variable sea igual o menor que un valor determinado. Ejemplo, la probabilidad de que en un salon hayan personas menores o iguales a una edad especifica.

Función de Probabilidad de Densidad (PDFs)

Determine la probabilidad de que una variable continua tome un valor determinado. Ejemplo, la probabilidad de que en el salón hayan personar con una altura especifica

Ruddy Ramos

student

Gracias por el aporte.

Eduardo Hoppenstedt

teacher

Con Pandas, el rango interquartil muestra que 25% es 190 y 75% es 213, mostrando una clara consistencia con la gráfica:

pmf_flipper_length_mm.describe()

Juan R. Vergara M.

student

Gracias ✔

Nancy Santana

student

Excelente observación, gracias

Eduardo Hoppenstedt

teacher

Me fascinó esto de hacer preguntas de una probabilidad específica con empiricaldist, no sabía que se podía hacer así.

Juan R. Vergara M.

student

Esa librería es nueva para mí también.

Jeinfferson Bernal G

student

Si. Muy buena funcionalidad!

Jeinfferson Bernal G

student

Calculo de la Funcion Empirica de Probabilidad Acumulada (ECDFs)

Calculo de ECDFs utilizando seaborn

sns.ecdfplot(
    data=dataFrame,
    x='nombre_variable'
)

Calculo de la ECDFs en formato de tabla utilizando empiricaldist

#calculo de la funcion de probabilidad acumulada
cdf_variable = empiricaldist.Cdf.from_seq(
    dataFrame.nombre_variable,
    normalize=True
)
cdf_variable

Calculo de la probabilidad de una variable que sea igual o menor a un valor determinado con La ECDFs

q = 200 #valor de referencia. Todos los menores o iguales a q
p = cdf_variable.forward(q) #probabilidad
print(q, p)

Grafica de la probabilidad de que la variable tenga un valor igual o menor a un valor determinado con la ECDFs

#grafica de Cdf
cdf_variable.plot()

#calcular la probabilidad de forma manual
q = 190
p = cdf_variable.forward(q)

#trazo de linea vertical en la grafica
plt.vlines(
    x=q,
    ymin=0,
    ymax=p,
    color='black',
    linestyles='dashed'
)

#trazo de linea horizontal en la grafica
plt.hlines(
    y=p,
    xmin=pmf_variable.qs[0],
    xmax=q,
    color='black',
    linestyles='dashed'
)

plt.plot(q, p, 'ro')

Calculo de un valor en funcion de una probabilidad dada con la ECDFs

#definir la probabilidad
ps = 0.25
#obtener el valor dada la probabilidad
qs = cdf_variable.inverse(ps)
#mostrar los valores
print(ps, qs)

Relacion entre el IQR y la grafica de la ECDFs

#calculo de un valor en funcion de la probabilidad dada
cdf_variable.step()

#especificar probabilidades
p_1 = 0.25
p_2 = 0.75

#IQR
ps = (0.25, 0.75)

#obtener el valor dada la probabilidad
qs = cdf_variable.inverse(ps)

plt.vlines(
    x=qs,
    ymin=0,
    ymax=ps,
    color='black',
    linestyles='dashed'
)

plt.hlines(
    y=ps,
    xmin=pmf_variable.qs[0],
    xmax=qs,
    color='black',
    linestyles='dashed'
)

plt.scatter(
    x=qs,
    y=ps,
    color='red',
    zorder=2
)

Del codigo anterior, se muestra que los valores obtenidos tanto para la probabilidad 0.25 como para la 0.75 coinciden con los valores correspondientes al IQR

Comparando distribuciones. Se realiza cuando la variable en estudio pertenece o varias categorias. Entonces, para cada categoria vamos a tener una distribucion

sns.ecdfplot(
    data=dataFrame,
    x='nombre_variable',
    hue='nombre_category',
    palette=paleta_de_color_definida
)

La libreria empiricaldist nos permite tener un mayor control de las probabilidades que la libreria seaborn. Seaborn es utilizada para un vistazo general de las probabilidades; para responder preguntas de probabilidad y tener una mejor visualizacion se utliza empiricaldist

Diego Cesar Lerma Torres

student

Si alguna vez te has preguntado cómo los matemáticos y estadísticos calculan las chances de que ocurra algo, ¡este post es para ti! Vamos a desglosar tres conceptos clave de una manera sencilla: la Función de Probabilidad de Masas (PMF), la Función de Distribución Acumulada (CDF) y la Función de Densidad de Probabilidad (PDF).

¿Qué es la PMF?

Imagina que tienes un dado de seis caras y quieres saber la probabilidad de que al lanzarlo, caiga un número específico. La PMF es una herramienta que te dice exactamente eso. Para cada cara del dado (1, 2, 3, 4, 5, 6), la PMF te dirá que la probabilidad de que salga ese número es de 1 en 6. Es como un mapa que te muestra cómo se distribuyen las probabilidades para cada resultado posible de un experimento con resultados contables.

Puntos clave para recordar:

La suma de las probabilidades de todos los posibles resultados siempre debe dar 1.
La PMF solo se usa para situaciones donde puedes contar los posibles resultados, como lanzar un dado o sacar una carta de una baraja.

¿Y la CDF?

Ahora, digamos que no solo te interesa un número específico, sino saber la probabilidad de obtener un número igual o menor a cierto valor. Ahí es donde entra la CDF. Usando el ejemplo del dado, si queremos saber la probabilidad de sacar un 3 o menos, sumamos las probabilidades de sacar 1, 2, o 3. Esto nos da 1/2, lo que significa que hay un 50% de posibilidad de que al lanzar el dado, obtengamos un 3 o menos.

Puntos clave para recordar:

La CDF siempre aumenta o se mantiene constante a medida que avanzas hacia números mayores.
Va de 0 a 1, empezando en cero antes de sacar cualquier número y llegando a 1 cuando has contado todas las posibilidades.

Finalmente, ¿Qué es la PDF?

La PDF es similar a la PMF, pero se usa para situaciones donde los resultados no son cosas que puedes contar fácilmente, sino que varían en un rango continuo. Por ejemplo, el tiempo que te tardas en ir al trabajo. La PDF te diría cómo se distribuyen las probabilidades a lo largo de diferentes intervalos de tiempo, ayudándote a entender, por ejemplo, la probabilidad de que tardes entre 25 y 35 minutos en llegar.

Puntos clave para recordar:

La integral (una suma de muchas partes pequeñas) de la PDF a lo largo de todo el rango posible de resultados debe ser 1, indicando que cubre todas las posibilidades.
Aunque la PDF puede mostrarte valores muy altos o bajos, las probabilidades que calculas con ella siempre estarán entre 0 y 1.

Conclusión

Estos conceptos, PMF, CDF y PDF, son las herramientas básicas para entender las probabilidades en diferentes situaciones, ya sea lanzando dados, jugando cartas o calculando tiempos de viaje. Nos ayudan a modelar el mundo de una manera matemáticamente precisa, permitiéndonos hacer predicciones y tomar decisiones informadas en ciencia, ingeniería, estadísticas y más.

Espero que esta explicación te haya ayudado a entender un poco mejor estos conceptos fundamentales de probabilidad.

jhon velasque

student

esta clase deberia estar antes de estadística descriptiva , o deberían usar la misma metodología que esta buena

Jeinfferson Bernal G

student

Calculo de la Funcion de Probabilidad de Masas (PMFs)

Funcion de Probabilidad de Masas utilizando seaborn

sns.histplot(
    data=dataFrame,
    x='nombre_variable',
    binwidth=1,
    stat='probability' # parametro que convierte los conteos en probabilidades 
)                      # PMFs

Tabla de PMFs de una variable del dataFrame utilizando la librería empiricaldist. Esta libreria posee muchas funcionalidades relacionadas a las probabilidades

pmf_variable = empiricaldist.Pmf.from_seq(
    df.nombre_variable,
    normalize=True  #True muestra las probabilidades, False muestra los conteos
)

Gráfica de las PMFs con empiricaldist

pmf_variable.bar()

Calculo de la PMFs de un valor especifico

Diego Jurado

student

Empiricaldist: Libreria de Python que representa distribuciones empiricas.

Jeinfferson Bernal G

student

Gracias por la descripcion!

Dante Mazzini

student

La función de probabilidad de densidad se utiliza para variables continuas. El profesor tiene un error conceptual al explicarla. Y es que según una distribución de probabilidad continua. La probabilidad de un suceso en un punto es 0. Ya que los intervalos se calculan con integrales (el área calculada entre el piso y la curva de la distribución entre los puntos). Desde un punto de vista teórico, según un pdf, la probabilidad en un punto es de 0.

María Eugenia Pereira Chévez

student

Para profundizar un poco mas en la librería empiricaldist

https://nbviewer.org/github/AllenDowney/empiricaldist/blob/master/empiricaldist/dist_demo.ipynb

Miguel Sánchez Guerrero

student

En orden del Deepnote esta lección es la 13 no la 12

Miguel Sosa

student

A modo de aporte les comparto: Quise hacer una función con el fin de graficar la curva de probabilidad acumulada de modo tal que se pueda utilizar rápidamente con cualquiera de las columnas y el valor que queramos consultar, así quedó:

def graf_prob_acum(columna, medida):
    
    cdf_variable = empiricaldist.Cdf.from_seq(
    process_penguin_df[columna],
    normalize = True
    )
    
    cdf_variable.plot()

    q = medida
    p = cdf_variable.forward(q)
    
    plt.title(columna, loc = 'left')

    plt.vlines(
        x=q,
        ymin=0,
        ymax=p,
        color='black',
        linestyle='dashed'
    )

    plt.hlines(
        y=p,
        xmin=cdf_variable.qs[0],
        xmax=q,
        color='black',
        linestyle='dashed'
    )

    plt.plot(q,p, 'ro')

De esta forma podemos realizar cualquier gráfica únicamente invocando la función:

print(graf_prob_acum('body_mass_g', 3500))

Creo que incluso se podría modificar la función para que quede mucho más genérica y se pueda utilizar con cualquier otro dataframe, añadiendo el parámetro de entrada dataframe y reemplazándolo por el de pinguinos.

Pablo Alejandro Figueroa

student

Probability Distribution Functions (PMF, PDF, CDF) https://www.youtube.com/watch?v=YXLVjCKVP7U

Sebastian Gaviria

student

En caso de que quieran ver los datos de las probabilidades en porcentajes

result = empiricaldist.Pmf.from_seq(processed_penguins_df.flipper_length_mm)

result_1 = result[:].map('{:.2%}'.format)
result_1

Mario Alexander Vargas Celis

student

cdf_flipper_length_mm.step ( )
p_1 = 8.25 # Specify probability
P_2 = 8.75
ps = ( 0.25 , 0.75 ) # IQR
qs = cdf_flipper_length_mm.inverse(ps)
plt.vlines (
    x = qs,
    ymin = 0,
    ymax=ps,
    color='black',
    linestyle='dashed'
)

plt.hlines(
   y=ps,
   xmin=pmf_flipper_length_mm.qs[0],
   xmax=qs,
   color='black',
   linestyle='dashed'
)

plt.scatter(
   x=qs,
   y=ps,
   color='red',
   zorder=2
)

Jonathan Quiros Barquero

student

Cuando se hace el histograma separado por especia se nota porque se apreciaba una distribucion bimodal, en realidad son 3 diferentes distribuciones, una por cada especia

Leo Díaz

student

hola chicos, alguien mas tiene el problema de que el empiricaldist no esta definido?

Juan Pablo Marin Vanegas

student

Sí, me pasó lago parecido. Lo solucionas instalando la librería: pip install empiricaldist

jabes nestor frias martinez

student

gente no entiendo para que sirve realmente la funcion .forward

.forward()

si alguien sabe se lo agradeceria

Marlon Steven Piñeros Jimenez

student

Cdf tiene el método forward. Básicamente, la función forward mapea una cantidad q del rango de la variable considerada a su probabilidad acumulada p.

Sea X una variable aleatoria que pertenece al rango I.

 p = Prob( X <= q )

Martin Javier Gamboa Guzman

student

Hola

Pregunta, por que se menciona que la probabilidad con el un punto esta asociada al eje y?

Si por ejemplo, se hace el calculo para el valor maximo del eje x. No creo que la probabilidad de que pase sea igual a 1 o al 100%. Estoy en lo correcto?

No se si se deberia interpretar como que la probabiilidad de que existan elementos hasta ese valor sea 100% ?

o que la probabilidad de que pase ese evento puntual sea 1 - a?

Mil gracias por su ayuda!

Eduard Giraldo Martínez

student

Hola, Martin 😀

En este caso sólo estamos buscando la probabilidad acumulada. Entonces, el número máximo del data set es de 231, Sí queremos saber la probabilidad de que haya un pinguino con las alas de ese tamaño o menos es del 100%. (Explicando el gráfico) . Lo que estamos haciendo con

cdf_flipper_length_mm.plot()

q = 200
p = cdf_flipper_length_mm .forward(q)


print(q, p)

es buscar la probabilidad acumulada de que encontremos a un pinguino con la longitud de 200 o menor de las alas

Eso es lo que hace la función .forward cómo explican aquí

Te recomiendo el Curso de Matemáticas para Data Science: Probabilidad para entender muchisimo mejor. (Yo lo tuve que ver antes de continuar con el curso porque no entendía de que hablaban. Te lo recomiendo bastante) . Espero que te sirva la respuesta y gracias por tu paciencia.

👾✨

Leandro Tenjo

student

También me confundí un poco, pero

La clave esta en que es ++MENOR++ o igual.

Es decir, Si el valor mayor es 213, entonces los demás datos son menores a 213.

→ Osea que la probabilidad de encontrar un dato ++menor++ o igual a 213 es de 100%, porque todos los datos están por debajo de ese valor.

cdf_flipper_length_mm.plot()

q = 200
p = cdf_flipper_length_mm.forward(q)

plt.vlines(
    x=q,
    ymin=0,
    ymax=p,
    color='black',
    linestyle='dashed'
)

plt.hlines(
    y=p,
    xmin=pmf_flipper_length_mm.qs[0],
    xmax=q,
    color='black',
    linestyle='dashed'
)

plt.plot(q,p, 'ro')

cdf_flipper_length_mm.step ( )
p_1 = 8.25 # Specify probability
P_2 = 8.75
ps = ( 0.25 , 0.75 ) # IQR
qs = cdf_flipper_length_mm.inverse(ps)
plt.vlines (
    x = qs,
    ymin = 0,
    ymax=ps,
    color='black',
    linestyle='dashed'
)

plt.hlines(
   y=ps,
   xmin=pmf_flipper_length_mm.qs[0],
   xmax=qs,
   color='black',
   linestyle='dashed'
)

plt.scatter(
   x=qs,
   y=ps,
   color='red',
   zorder=2
)

#grafica de Cdf
cdf_variable.plot()

#calcular la probabilidad de forma manual
q = 190
p = cdf_variable.forward(q)

#trazo de linea vertical en la grafica
plt.vlines(
    x=q,
    ymin=0,
    ymax=p,
    color='black',
    linestyles='dashed'
)

#trazo de linea horizontal en la grafica
plt.hlines(
    y=p,
    xmin=pmf_variable.qs[0],
    xmax=q,
    color='black',
    linestyles='dashed'
)

plt.plot(q, p, 'ro')

#calculo de un valor en funcion de la probabilidad dada
cdf_variable.step()

#especificar probabilidades
p_1 = 0.25
p_2 = 0.75

#IQR
ps = (0.25, 0.75)

#obtener el valor dada la probabilidad
qs = cdf_variable.inverse(ps)

plt.vlines(
    x=qs,
    ymin=0,
    ymax=ps,
    color='black',
    linestyles='dashed'
)

plt.hlines(
    y=ps,
    xmin=pmf_variable.qs[0],
    xmax=qs,
    color='black',
    linestyles='dashed'
)

plt.scatter(
    x=qs,
    y=ps,
    color='red',
    zorder=2
)

def graf_prob_acum(columna, medida):
    
    cdf_variable = empiricaldist.Cdf.from_seq(
    process_penguin_df[columna],
    normalize = True
    )
    
    cdf_variable.plot()

    q = medida
    p = cdf_variable.forward(q)
    
    plt.title(columna, loc = 'left')

    plt.vlines(
        x=q,
        ymin=0,
        ymax=p,
        color='black',
        linestyle='dashed'
    )

    plt.hlines(
        y=p,
        xmin=cdf_variable.qs[0],
        xmax=q,
        color='black',
        linestyle='dashed'
    )

    plt.plot(q,p, 'ro')

cdf_flipper_length_mm.step ( )
p_1 = 8.25 # Specify probability
P_2 = 8.75
ps = ( 0.25 , 0.75 ) # IQR
qs = cdf_flipper_length_mm.inverse(ps)
plt.vlines (
    x = qs,
    ymin = 0,
    ymax=ps,
    color='black',
    linestyle='dashed'
)

plt.hlines(
   y=ps,
   xmin=pmf_flipper_length_mm.qs[0],
   xmax=qs,
   color='black',
   linestyle='dashed'
)

plt.scatter(
   x=qs,
   y=ps,
   color='red',
   zorder=2
)

Introducción al análisis exploratorio de datos

¿Qué es y para qué sirve el análisis exploratorio de datos?

¿Cómo hacer un análisis exploratorio de datos?

Tipos de análisis de datos

Tipos de datos y análisis de variables

Herramientas de software para el análisis exploratorio de datos

Conociendo nuestros datos: palmerpenguins

Recolección de datos, limpieza y validación

Ejercicio de validación de datos

Análisis univariado

Explorando una variable categórica: conteos y proporciones

Estadística descriptiva aplicada: medidas de tendencia central

Estadística descriptiva aplicada: medidas de dispersión

Ejercicio de obtención de medidas de dispersión