Paradoja de Simpson

Cursos Empresas Blog Live Conf Precios

Contenido del curso

Introducción al análisis exploratorio de datos

Análisis univariado

Análisis bivariado

Análisis multivariado

Conclusiones

Tomar examen

Paradoja de Simpson

Comentarios

Eduardo Hoppenstedt

teacher

Me gustó conocer la paradoja. Un resumen que me pareció sencillo sobre la paradoja de Simpson es:

Una tendencia que aparece en varios grupos de datos desaparece cuando estos grupos se combinan y en su lugar aparece la tendencia contraria para los datos agregados.

Juan R. Vergara M.

student

Gracias por el resumen amigo.

Jose Potes

student

exacto, por eso se dice que podemos concluir algo contrario sobre lo que ya teniamos. es decir, digamos que una conclusion es que el peso de los animalitos suba en una isla x, entonces, se analizan y agregan mas factores a esa conclusion y esa tendencia desaparece y ahora el peso de los animalitos baja o es central, entonces, esta anomalia la llamamos paradoja simpson.

Adolfo Sebastián Jara Gavilanes

student

Les comparto mi gráfica donde las separe por la variables "sex". Podemos ver claramente que el sexo masculino tiene los picos más profundos. Además se observa como la regresión lineal cambia para cada sexo

Diego Jurado

student

Adolfo, gracias por compartir, se nota con tu grafica claramente la diferencia

Juan R. Vergara M.

student

Gran aporte compañero.

Jeinfferson Bernal G

student

Paradoja de Simpson

Fenomeno en el cual es posible concluir dos cosas totalmente opuestas a partir de los mismos datos, dependiendo el como se clasifican estos

Visualiza siempre los datos para tener una mejor idea de las variables que estan relacionadas.

Utiliza pairplot de la libreria Seaborn para obtener un resumen visual de las graficas de par de variables y tener una idea desde el inicio de la EDA sobre la relacion de las variables

#Exploracion visual de los datos con seaborn
sns.pairplot(
    data=preprocessed_penguins_df,
    hue='species',
    palette=penguin_color
)

Ruddy Ramos

student

Gracias por el aporte.

Rubén Cuello

student

Es sin duda la gráfica más linda de este curso hasta ahora, y puesto que ofrece tanta información sin ningún tipo de procesamiento previo, no convendría comenzar nuestros análisis con este tipo de gráficas?

Juan R. Vergara M.

student

Oh si, estoy de acuerdo contigo.

Jeinfferson Bernal G

student

Muy util!

Antonio Demarco Bonino

student

Este video me ayudo a entender mejor la Paradoja de Simpson: https://www.youtube.com/watch?v=hpbXkrm68rI&ab_channel=MinutoDeFisica

Dejo más data por aquí: https://es.wikipedia.org/wiki/Paradoja_de_Simpson

SERGIO ANDRES HERRERA VELASQUEZ

student

Gracias

Pablo Alejandro Figueroa

student

Gracias muchas!!!

Jhon Freddy Tavera Blandon

student

La paradoja de Simpson es un fenómeno en el que una tendencia o relación aparente entre dos variables en un nivel de agregación desaparece o incluso se invierte cuando se examinan los datos a un nivel más detallado. Esto puede ocurrir cuando las variables están relacionadas con una tercera variable confusa.

import seaborn as sns

sns.pairplot(data=penguins, hue='species')

Todas las variables en el conjunto de datos de pingüinos, dividido por especie. El argumento "hue" se utiliza para diferenciar cada especie con diferentes colores. Esto nos permite visualizar si hay diferencias entre las especies en términos de la relación entre las variables y si hay alguna paradoja de Simpson presente.

Por ejemplo, podemos observar que en la especie de pingüinos Adelia, hay una correlación positiva entre la longitud de la aleta y la longitud del pico, así como entre la longitud de la aleta y la masa corporal. Sin embargo, cuando combinamos todas las especies juntas, esta correlación se invierte y se vuelve negativa.

sns.pairplot(data=penguins, vars=['bill_length_mm', 'body_mass_g', 'flipper_length_mm'], hue='species')

Este código crea un pairplot de las variables "bill_length_mm", "body_mass_g" y "flipper_length_mm" para cada especie de pingüino. Podemos observar que en la especie Adelia, la longitud del pico y la masa corporal están positivamente correlacionadas con la longitud de la aleta. Sin embargo, cuando se combinan todas las especies juntas, la relación se invierte y se vuelve negativa.

Esto ilustra la paradoja de Simpson, donde una tendencia positiva en cada grupo de datos se invierte cuando se combinan los grupos. En este caso, la variable de confusión podría ser la especie de pingüino, que afecta la relación entre las variables. Es importante tener en cuenta la paradoja de Simpson al analizar datos y asegurarse de que las relaciones observadas sean válidas para todo el conjunto de datos y no solo para subconjuntos específicos.

Pablo Alejandro Figueroa

student

Luis Mendez

student

La paradoja de Simpson lleva el nombre del matemático británico Edward Simpson, quien la describió por primera vez en un artículo en 1951. En su artículo, Simpson presentó un ejemplo hipotético que mostraba cómo una relación aparente entre dos variables en un conjunto de datos se revertía cuando se desagregaban los datos en subgrupos.

Desde entonces, la paradoja de Simpson se ha identificado en una variedad de campos, desde la medicina hasta la economía, y se ha convertido en un tema importante en la estadística y la ciencia de datos. La paradoja de Simpson demuestra cómo es crucial tener en cuenta las variables relevantes y cómo los datos se agrupan antes de sacar conclusiones.

ChatGPT

Eduardo Hoppenstedt

teacher

Mi fuente es Wikipedia: Paradoja de Simpson

Juan R. Vergara M.

student

Gracias por el aporte.

Andres Martin

student

ya me estaba dando ansiedad de que no categorizaran las variables jajaja

Pablo Alejandro Figueroa

student

Juan R. Vergara M.

student

Muy buenos consejos, como el de visualizar siempre tus datos eres un crack Jesús 🥇

Luis Orna

student

Es decir uno de los primero pasos deberia ser categorizar los datos?

O al menos es algo que tengo que considerar en las primeras estapas?

Alfonso Neil Jiménez Casallas

student

Elena Fernandez López

student

En realidad, ha dejado el gráfico sns.pairplot para el final, pero en mi experiencia les recomiendo que cuando empiecen a hacer análisis exploratorio de datos, si no tienen una infinidad de variables, les recomiendo que empiecen por aquí. Se ahorrarán mucho trabajo.

Eduardo Barea

student

Una solución que me viene a la mente al momento de hacer modelos de regresión, después del análisis exploratorio, es con R con purr y map que permite, por ejemplo seccionar el tibble en este caso por 'species' en unas cuantas líneas a fin de evitar problemas con nuestros modelos:

<

modelos <- 'tibble'%>% split(.$'categoría para seccionar el 'tibble') %>% map(~lm('variable dependiente' ~ 'variable independiente 1' + 'variable independiente 2' + 'variable independiente 3' + 'etc', data = .)) View(modelos) summary(modelos)

Es muy interesante entre lenguajes de programación tener alternativas; sin dudas, Python me fascina.

Dennis Ricardo López Morell

student

Que buen fin :D

Nicolas Ojeda

student

Chicos, alguien tiene el repositorio del curso? gracias.

Jose Potes

student

Conclusion del curso: con pairplot y con lmplot podemos ir al grano para conocer que variable(s) debemos considerar para realizar un analices. solo que el curso se enfocó en como explorar los datos desde A hasta la Z(a grandes y pocos rasgos). Por lo que entendí, es que la paradoja de simpson no es mas que la doble contrarias entre si que puedes tener bajo el mismo dataset.

Christopher Brian Guzmán Martínez

student

Es algo que pasa en el mundo laboral muy comunmente en mi experiencia

Introducción al análisis exploratorio de datos

¿Qué es y para qué sirve el análisis exploratorio de datos?

¿Cómo hacer un análisis exploratorio de datos?

Tipos de análisis de datos

Tipos de datos y análisis de variables

Herramientas de software para el análisis exploratorio de datos

Conociendo nuestros datos: palmerpenguins

Recolección de datos, limpieza y validación

Ejercicio de validación de datos

Análisis univariado

Explorando una variable categórica: conteos y proporciones

Estadística descriptiva aplicada: medidas de tendencia central

Estadística descriptiva aplicada: medidas de dispersión

Ejercicio de obtención de medidas de dispersión

Estadística descriptiva aplicada: distribuciones

Estadística descriptiva aplicada: funciones de densidad de probabilidad

Bonus: Teorema del límite central

Análisis bivariado

Estableciendo relaciones: gráficos de puntos

Estableciendo relaciones: gráficos de violín y boxplots

Estableciendo relaciones: matrices de correlación

Limitantes de los coeficientes de correlación lineal

Estableciendo relaciones: análisis de regresión simple

Limitaciones del análisis de regresión simple

Análisis multivariado

Análisis de regresión múltiple

Visualización del análisis de regresión múltiple

Análisis de regresión logística

Paradoja de Simpson

¿Qué hacer cuando tengo muchas variables?

Conclusiones

Diversidad de gráficas al explorar datos

Continúa aprendiendo sobre EDA