Clase 13 de 28 • Curso de Análisis Exploratorio de Datos
Contenido del curso
Luis Fernando Aguilar Sanchez
Adolfo Sebastián Jara Gavilanes
Juan R. Vergara M.
Jeinfferson Bernal G
Ruddy Ramos
Eduardo Hoppenstedt
Juan R. Vergara M.
Nancy Santana
Eduardo Hoppenstedt
Juan R. Vergara M.
Jeinfferson Bernal G
Jeinfferson Bernal G
Diego Cesar Lerma Torres
jhon velasque
Jeinfferson Bernal G
Diego Jurado
Jeinfferson Bernal G
Dante Mazzini
María Eugenia Pereira Chévez
Miguel Sánchez Guerrero
Miguel Sosa
Pablo Alejandro Figueroa
Sebastian Gaviria
Mario Alexander Vargas Celis
Jonathan Quiros Barquero
Leo Díaz
Juan Pablo Marin Vanegas
jabes nestor frias martinez
Marlon Steven Piñeros Jimenez
Martin Javier Gamboa Guzman
Eduard Giraldo Martínez
Leandro Tenjo
Les dejo los códigos de las graficas CDF
Primera:
cdf_flipper_length_mm.plot() q = 200 p = cdf_flipper_length_mm.forward(q) plt.vlines( x=q, ymin=0, ymax=p, color='black', linestyle='dashed' ) plt.hlines( y=p, xmin=pmf_flipper_length_mm.qs[0], xmax=q, color='black', linestyle='dashed' ) plt.plot(q,p, 'ro')
Segunda:
cdf_flipper_length_mm.step ( ) p_1 = 8.25 # Specify probability P_2 = 8.75 ps = ( 0.25 , 0.75 ) # IQR qs = cdf_flipper_length_mm.inverse(ps) plt.vlines ( x = qs, ymin = 0, ymax=ps, color='black', linestyle='dashed' ) plt.hlines( y=ps, xmin=pmf_flipper_length_mm.qs[0], xmax=qs, color='black', linestyle='dashed' ) plt.scatter( x=qs, y=ps, color='red', zorder=2 )
Muchas gracias!
Genial, gracias.
Estadistica Descriptiva Aplicada: Distribuciones
Funcion de Probabilidad de masas (PMFs)
Nos dice la probabilidad de que una variable aleatoria discreta tome un valor determinado. Ejemplo, la probabilidad de que en un salon hayan personas con una edad especifica
Funcion de Distribucion Acumulada (CDFs)
Devuelve la probabilidad de que una variable sea igual o menor que un valor determinado. Ejemplo, la probabilidad de que en un salon hayan personas menores o iguales a una edad especifica.
Función de Probabilidad de Densidad (PDFs)
Determine la probabilidad de que una variable continua tome un valor determinado. Ejemplo, la probabilidad de que en el salón hayan personar con una altura especifica
Gracias por el aporte.
Con Pandas, el rango interquartil muestra que 25% es 190 y 75% es 213, mostrando una clara consistencia con la gráfica:
pmf_flipper_length_mm.describe()
Gracias ✔
Excelente observación, gracias
Me fascinó esto de hacer preguntas de una probabilidad específica con empiricaldist, no sabía que se podía hacer así.
Esa librería es nueva para mí también.
Si. Muy buena funcionalidad!
Calculo de la Funcion Empirica de Probabilidad Acumulada (ECDFs)
sns.ecdfplot( data=dataFrame, x='nombre_variable' )
#calculo de la funcion de probabilidad acumulada cdf_variable = empiricaldist.Cdf.from_seq( dataFrame.nombre_variable, normalize=True ) cdf_variable
q = 200 #valor de referencia. Todos los menores o iguales a q p = cdf_variable.forward(q) #probabilidad print(q, p)
#grafica de Cdf cdf_variable.plot() #calcular la probabilidad de forma manual q = 190 p = cdf_variable.forward(q) #trazo de linea vertical en la grafica plt.vlines( x=q, ymin=0, ymax=p, color='black', linestyles='dashed' ) #trazo de linea horizontal en la grafica plt.hlines( y=p, xmin=pmf_variable.qs[0], xmax=q, color='black', linestyles='dashed' ) plt.plot(q, p, 'ro')
#definir la probabilidad ps = 0.25 #obtener el valor dada la probabilidad qs = cdf_variable.inverse(ps) #mostrar los valores print(ps, qs)
#calculo de un valor en funcion de la probabilidad dada cdf_variable.step() #especificar probabilidades p_1 = 0.25 p_2 = 0.75 #IQR ps = (0.25, 0.75) #obtener el valor dada la probabilidad qs = cdf_variable.inverse(ps) plt.vlines( x=qs, ymin=0, ymax=ps, color='black', linestyles='dashed' ) plt.hlines( y=ps, xmin=pmf_variable.qs[0], xmax=qs, color='black', linestyles='dashed' ) plt.scatter( x=qs, y=ps, color='red', zorder=2 )
Del codigo anterior, se muestra que los valores obtenidos tanto para la probabilidad 0.25 como para la 0.75 coinciden con los valores correspondientes al IQR
sns.ecdfplot( data=dataFrame, x='nombre_variable', hue='nombre_category', palette=paleta_de_color_definida )
La libreria empiricaldist nos permite tener un mayor control de las probabilidades que la libreria seaborn. Seaborn es utilizada para un vistazo general de las probabilidades; para responder preguntas de probabilidad y tener una mejor visualizacion se utliza empiricaldist
Si alguna vez te has preguntado cómo los matemáticos y estadísticos calculan las chances de que ocurra algo, ¡este post es para ti! Vamos a desglosar tres conceptos clave de una manera sencilla: la Función de Probabilidad de Masas (PMF), la Función de Distribución Acumulada (CDF) y la Función de Densidad de Probabilidad (PDF).
¿Qué es la PMF?
Imagina que tienes un dado de seis caras y quieres saber la probabilidad de que al lanzarlo, caiga un número específico. La PMF es una herramienta que te dice exactamente eso. Para cada cara del dado (1, 2, 3, 4, 5, 6), la PMF te dirá que la probabilidad de que salga ese número es de 1 en 6. Es como un mapa que te muestra cómo se distribuyen las probabilidades para cada resultado posible de un experimento con resultados contables.
Puntos clave para recordar:
¿Y la CDF?
Ahora, digamos que no solo te interesa un número específico, sino saber la probabilidad de obtener un número igual o menor a cierto valor. Ahí es donde entra la CDF. Usando el ejemplo del dado, si queremos saber la probabilidad de sacar un 3 o menos, sumamos las probabilidades de sacar 1, 2, o 3. Esto nos da 1/2, lo que significa que hay un 50% de posibilidad de que al lanzar el dado, obtengamos un 3 o menos.
Puntos clave para recordar:
Finalmente, ¿Qué es la PDF?
La PDF es similar a la PMF, pero se usa para situaciones donde los resultados no son cosas que puedes contar fácilmente, sino que varían en un rango continuo. Por ejemplo, el tiempo que te tardas en ir al trabajo. La PDF te diría cómo se distribuyen las probabilidades a lo largo de diferentes intervalos de tiempo, ayudándote a entender, por ejemplo, la probabilidad de que tardes entre 25 y 35 minutos en llegar.
Puntos clave para recordar:
Conclusión
Estos conceptos, PMF, CDF y PDF, son las herramientas básicas para entender las probabilidades en diferentes situaciones, ya sea lanzando dados, jugando cartas o calculando tiempos de viaje. Nos ayudan a modelar el mundo de una manera matemáticamente precisa, permitiéndonos hacer predicciones y tomar decisiones informadas en ciencia, ingeniería, estadísticas y más.
Espero que esta explicación te haya ayudado a entender un poco mejor estos conceptos fundamentales de probabilidad.
esta clase deberia estar antes de estadística descriptiva , o deberían usar la misma metodología que esta buena
Calculo de la Funcion de Probabilidad de Masas (PMFs)
sns.histplot( data=dataFrame, x='nombre_variable', binwidth=1, stat='probability' # parametro que convierte los conteos en probabilidades ) # PMFs
pmf_variable = empiricaldist.Pmf.from_seq( df.nombre_variable, normalize=True #True muestra las probabilidades, False muestra los conteos )
pmf_variable.bar()
Empiricaldist: Libreria de Python que representa distribuciones empiricas.
Gracias por la descripcion!
La función de probabilidad de densidad se utiliza para variables continuas. El profesor tiene un error conceptual al explicarla. Y es que según una distribución de probabilidad continua. La probabilidad de un suceso en un punto es 0. Ya que los intervalos se calculan con integrales (el área calculada entre el piso y la curva de la distribución entre los puntos). Desde un punto de vista teórico, según un pdf, la probabilidad en un punto es de 0.
Para profundizar un poco mas en la librería empiricaldist
https://nbviewer.org/github/AllenDowney/empiricaldist/blob/master/empiricaldist/dist_demo.ipynb
En orden del Deepnote esta lección es la 13 no la 12
A modo de aporte les comparto: Quise hacer una función con el fin de graficar la curva de probabilidad acumulada de modo tal que se pueda utilizar rápidamente con cualquiera de las columnas y el valor que queramos consultar, así quedó:
def graf_prob_acum(columna, medida): cdf_variable = empiricaldist.Cdf.from_seq( process_penguin_df[columna], normalize = True ) cdf_variable.plot() q = medida p = cdf_variable.forward(q) plt.title(columna, loc = 'left') plt.vlines( x=q, ymin=0, ymax=p, color='black', linestyle='dashed' ) plt.hlines( y=p, xmin=cdf_variable.qs[0], xmax=q, color='black', linestyle='dashed' ) plt.plot(q,p, 'ro')
De esta forma podemos realizar cualquier gráfica únicamente invocando la función:
print(graf_prob_acum('body_mass_g', 3500))
Creo que incluso se podría modificar la función para que quede mucho más genérica y se pueda utilizar con cualquier otro dataframe, añadiendo el parámetro de entrada dataframe y reemplazándolo por el de pinguinos.
En caso de que quieran ver los datos de las probabilidades en porcentajes
result = empiricaldist.Pmf.from_seq(processed_penguins_df.flipper_length_mm) result_1 = result[:].map('{:.2%}'.format) result_1
cdf_flipper_length_mm.step ( ) p_1 = 8.25 # Specify probability P_2 = 8.75 ps = ( 0.25 , 0.75 ) # IQR qs = cdf_flipper_length_mm.inverse(ps) plt.vlines ( x = qs, ymin = 0, ymax=ps, color='black', linestyle='dashed' ) plt.hlines( y=ps, xmin=pmf_flipper_length_mm.qs[0], xmax=qs, color='black', linestyle='dashed' ) plt.scatter( x=qs, y=ps, color='red', zorder=2 )
Cuando se hace el histograma separado por especia se nota porque se apreciaba una distribucion bimodal, en realidad son 3 diferentes distribuciones, una por cada especia
hola chicos, alguien mas tiene el problema de que el empiricaldist no esta definido?
Sí, me pasó lago parecido. Lo solucionas instalando la librería: pip install empiricaldist
gente no entiendo para que sirve realmente la funcion .forward
.forward()
si alguien sabe se lo agradeceria
Cdf tiene el método forward. Básicamente, la función forward mapea una cantidad q del rango de la variable considerada a su probabilidad acumulada p.
Sea X una variable aleatoria que pertenece al rango I.
p = Prob( X <= q )
Hola
Pregunta, por que se menciona que la probabilidad con el un punto esta asociada al eje y?
Si por ejemplo, se hace el calculo para el valor maximo del eje x. No creo que la probabilidad de que pase sea igual a 1 o al 100%. Estoy en lo correcto?
No se si se deberia interpretar como que la probabiilidad de que existan elementos hasta ese valor sea 100% ?
o que la probabilidad de que pase ese evento puntual sea 1 - a?
Mil gracias por su ayuda!
Hola, Martin 😀
En este caso sólo estamos buscando la probabilidad acumulada. Entonces, el número máximo del data set es de 231, Sí queremos saber la probabilidad de que haya un pinguino con las alas de ese tamaño o menos es del 100%. (Explicando el gráfico) . Lo que estamos haciendo con
cdf_flipper_length_mm.plot() q = 200 p = cdf_flipper_length_mm .forward(q) print(q, p)
es buscar la probabilidad acumulada de que encontremos a un pinguino con la longitud de 200 o menor de las alas
Eso es lo que hace la función .forward cómo explican aquí
Te recomiendo el Curso de Matemáticas para Data Science: Probabilidad para entender muchisimo mejor. (Yo lo tuve que ver antes de continuar con el curso porque no entendía de que hablaban. Te lo recomiendo bastante) . Espero que te sirva la respuesta y gracias por tu paciencia.
👾✨
También me confundí un poco, pero
La clave esta en que es ++MENOR++ o igual.
Es decir, Si el valor mayor es 213, entonces los demás datos son menores a 213.
→ Osea que la probabilidad de encontrar un dato ++menor++ o igual a 213 es de 100%, porque todos los datos están por debajo de ese valor.
