Contenido del curso
ANOVA y Pearson para validar hipótesis en Python
Aprender a validar hipótesis con ANOVA y el coeficiente de correlación de Pearson en Python te permite confirmar si dos variables están realmente relacionadas o si su comportamiento es independiente. Aquí trabajamos sobre el dataset iris, comparando sepal length y sepal width para entender cómo interpretar cada resultado.
¿Cómo calcular la correlación entre dos variables en Python?
La correlación mide qué tanto se mueve una variable cuando la otra cambia. Sobre el notebook que ya venías trabajando, accedes a la tabla iris y comparas la columna sepal length contra sepal width usando el método de correlación estándar.
El resultado arroja un valor de -0.10, una cifra tan cercana a cero que indica una correlación muy débil o prácticamente inexistente entre ambas medidas del sépalo.
¿Qué significa una correlación cercana a cero? Significa que las variables se mueven de forma independiente. Cuando una sube, la otra no necesariamente sube ni baja con ella.
¿Cómo se interpreta el coeficiente de Pearson?
Para obtener el coeficiente de Pearson usas la librería stats y aplicas el método Pearson R sobre las mismas dos variables. El resultado entrega un rango entre -0.1 y 0.18, valores nuevamente muy próximos al cero [01:30].
Cuando el coeficiente se acerca tanto al cero, puedes concluir que sepal length y sepal width son variables independientes. No hay un patrón que las vincule, algo que ya habías intuido con la prueba de hipótesis anterior basada en la t de Student.
¿Cómo se aplica ANOVA en Python para comparar varianzas?
ANOVA, o análisis de la varianza, te ayuda a detectar si existe una diferencia significativa entre las distribuciones de dos o más grupos. En Python lo calculas con la función F one way, que ya viene importada desde la librería stats [02:25].
Le pasas como argumentos las dos columnas de interés del dataset: iris sepal length contra iris sepal width. El resultado entrega dos valores fundamentales:
¿Cuándo rechazas la hipótesis nula con ANOVA? Cuando el p-value es inferior al nivel de significancia, normalmente 0.05. Si tu p-value es menor, rechazas la idea de que las medias sean iguales.
¿Por qué se rechaza la hipótesis nula en este caso?
El p-value obtenido es muchísimo menor que 0.05, así que rechazas la hipótesis nula que afirmaba que las medias de ambas varianzas eran similares. La conclusión es directa: sí existen diferencias entre las distribuciones de sepal length y sepal width, y debes quedarte con la hipótesis alternativa.
¿Qué nos dicen los tres métodos juntos sobre las variables?
Los tres métodos de validación coinciden en el mismo veredicto, lo que refuerza la confianza en el análisis. Vale la pena revisar cada uno para ver cómo encajan las piezas:
En las tres ocasiones la hipótesis nula resulta falsa. Por eso te quedas con la hipótesis alternativa: las distribuciones de width y length del sépalo no son similares ni están relacionadas entre sí.
¿Qué método de validación de hipótesis debo usar? Depende de tu objetivo: la t de Student compara medias entre dos grupos, Pearson mide correlación lineal y ANOVA evalúa diferencias de varianza. Usarlos en conjunto te da una visión más robusta.
¿Qué reto puedes resolver con estos métodos?
Ahora te toca a ti. Aplica los tres métodos para analizar la relación entre la longitud del sépalo y la longitud del pétalo en el mismo dataset iris. La hipótesis nula plantea que ambas longitudes son similares; la alternativa sostiene que no están relacionadas.
Corre el código, interpreta los estadísticos y los p-values, y comparte tus resultados en la sección de comentarios. ¿Encontraste correlación o las variables resultaron independientes?
Creo que la profe se confunde un poco al interpretar los test, por eso hago mi aporte:
Tambien tenía dudas acerca de la interpretación, gracias por tu aporte.
En el ejemplo del largo y ancho del sépalo, con el valor p que se obtiene (0.1828) NO se rechaza la hipótesis nula, las variables no están correlacionadas.
Hola, para los que recién se inician en este mundo y se preguntan para que diantres sirve todo esto, en resumen, sabiendo cuales son las características que mas se relacionan con la variable objetivo podemos ver si las podemos descartar o nó al crear nuestro modelo de machine learning o nuestra red neuronal . Para este ejemplo de iris nuestra variable objetivo es la columna species, entonces al realizar un análisis de extracción de características el coeficiente de Pearson nos permite saber cual es la relaciòn entre estas y la variable objetivo, siempre que hago un análisis para un dataset utilizo el siguiente código :
Cuando los valores están cerca a 0 simplemente los descarto porque no me aportan nada, esa es la verdadera utilidad de estas clases.
Igual no hay que descartar de inmediato y ver si la correlación es de otro tipo, ya que el comportamiento puede ser no lineal.
no es correcto lo que mencionas, pero entiendo de dónde viene la confusión, para qué sirve la prueba de hipótesis principalmente para A-b testing otra rama de la ciencia de datos que no es machine learning, si no existe correlación es verdad que podría descartarse en algunas ocasiones pero para modelos de clasificación, iris dataset está pensado para modelos de segmentación sería un error descartar las características de las especies
Antes de aplicar la prueba ANOVA se debe considerar dos aspectos importantes: a) Cada muestra tiene una distribución normal, lo cual lo podemos comprobar, realizando una prueba de normalidad, con el siguiente código:
from scipy.stats import normaltest def probar(df): S,p = normaltest(df) alfa = 0.05 print('p =',p) if p<alfa: print('No existen evidencias estadísticas para suponer normalidad') else: print('Existen evidencias estadísticas para suponer normalidad') return p probar(iris['sepal_width'])
b) Prueba de homocedasticidad: La varianza de las muestras es homogénea Se puede realizar con dos librerias levene o barlett de scipy.stats
from scipy.stats import levene alfa = 0.05 stat,p = levene(iris['sepal_length'],iris['sepal_width']) print('p=',p) if p<alfa: print('No existen evidencias estadísticas para suponer igualdad de varianza ') else: print('Existen evidencias estadísticas para suponer igualdad de varianza')
Para las variables analizadas en clase, me dio como resultado que sepal_length y wigth cumplen con la prueba de normalidad , pero no con la prueba de homocedasticidad, por lo que aplicar una prueba ANOVA, nos daría resultados sesgados.
Muchas gracias!
¡Mil gracias por el aporte, Videl!
Quisiera hacer notar que en estas clases se usaron tests de hipótesis de forma bastante descuidada. Les dejo las condiciones sobre el testing ANOVA (que son las mismas condiciones que necesita el t_test de la clase anterior)
El test ANOVA considera suposiciones importantes que deben cumplirse para que el valor p asociado sea válido:
Las muestras son independientes.
Cada muestra es de una población normalmente distribuida.
Las desviaciones estándar de población de los grupos son todas iguales. Esta propiedad se conoce como homocedasticidad.
En estos ejemplos no es claro que las varianzas de las poblaciones sean iguales o no... así que sugiero precaución sobre las conclusiones presentadas en estas clases al usar t_test y ANOVA.
Referencia:
Gracias. Veo que hay que complementar mucho con material adicional.
se acepta la hipótesis nula 👀 se correlacionan
Importaste la misma base de datos Iris que esta en los recursos de la clase 16?yo importe esa y me dio los mismos resultados que la profe
Usaste las variables sepal-length y petal-length
Hola chicos, algo importante es tener claro que tener una alta correlacion no implica que exista causalidad !a
Un ejemplo que me gusta mucho y que siempre me ayuda a recordarlo es la correlación entre el el incremento de la temperatura global y la disminución del número de piratas.
El hecho de que se reduzca el número de piratas evidentemente no tiene nada que ver con el aumento la temperatura global
Todo el contenido de prueba de hipótesis es un poco complejo de entender intuitivamente, yo lo entendí mejor leyendo en libros o también está muy bien explicado en la página de Minitab, les dejo el link aquí
¿Va a haber alguna corrección en este video debido a los comentarios que ponen los compañeros? En lo particular yo confío en las clases que estoy tomando y si no está bien algo, sería bueno que lo corrigieran.
La profesora no explica bien la correlación de pearson y que tan importante es el P value en esta. Este curso me está dejando mucho que desear. (
Esto me tiene muy confundido ya que la profe no lo menciona
st.pearsonr(iris['sepal_length'],iris['sepal_width']) (-0.11756978413300204, 0.15189826071144918)
El P-Value se encuentra por encima del nivel de significancia de 0.05, en esta prueba la hipotesis nula no se rechazaría a diferencia de la anterior?
:(
La ignorancia duele
El p-value que se entrega es sobrede la hipotesis nula de que "no hay correlación entre las poblaciones": Por tanto, se mantiene la hipótesis nula de que ambas poblaciones no estén correlacionadas (Notar mantener la hipótesis no es lo mismo que aceptar la hipótesis )
Referencia:
Por si no lo recordaban muy bien:
Creo que es importante visualizar los datos antes de hacer análisis. Podemos ver que algunas especies sí pueden tener sus dos variables correlacionadas. Con el gráfico lmplot lo podemos ver bien.
sns.lmplot(data=iris, x='sepal-length', y = 'sepal-width', hue='class')
increible como aplica anova sin validsr ninguno de los supuestos. Anova no se podría aplicar en este caso, pero se aplica sin fundamentos. fatal.
Todas las variables son significativamente distintas entre si:
varnums = ['sepal-length', 'sepal-width', 'petal-length', 'petal-width'] for col1 in varnums: for col2 in varnums: if col1 != col2: f_stat, p_value = f_oneway(iris[col1], iris[col2]) print(f'\n\nPrueba F para "{col1}" y "{col2}": ') print(f'Stat = {f_stat}, p_value = {p_value}') if p_value < 0.05: print(f'Las muestras de {col1} y {col2} son significativamente diferentes.') else: print(f'Las muestras de {col1} y {col2} no son significativamente diferentes.') ```varnums = \['sepal-length', 'sepal-width', 'petal-length', 'petal-width']for col1 in varnums: for col2 in varnums: if col1 != col2: f\_stat, p\_value = f\_oneway(iris\[col1], iris\[col2]) print(f'\n\nPrueba F para "{col1}" y "{col2}": ') print(f'Stat = {f\_stat}, p\_value = {p\_value}') if p\_value < 0.05: print(f'Las muestras de {col1} y {col2} son significativamente diferentes.') else: print(f'Las muestras de {col1} y {col2} no son significativamente diferentes.')
creo que hay una confucion y es que ella dice que en t test hay que comparar el valor t con el valor p y no es asi para nada.
anova y test se diferencian en que test es comparacion entre 2 muestras y anova entre mas de 2 muestras, esto implica que para el anova la hipotesis alternativa no necesariamente es la negacion de la hypotesis nula . pero en ambos casos t es la medida de la diferencia entre las medias y p la probabilidad de tener 2 medias con esa diferencia (obtener el valor t) si esas 2 medias pertenecen a la misma distribusion poblacional (teorema del valor medio) en el t test si se rechaza la hipotesis nula se esta diciendo vea esta muestra biene de una distribucion poblacional diferente a esta muestra entonces son poblaciones diferentes.
¿Van a actualizar esta clase con base en los comentarios de los compañeros?
Ejercicio
Una pregunta,hice el reto con las dos variables sepal-length y petal-length, obtuve los siguientes resultados:
Según las prueba de correlación y coeficiente de Pearson, se aceptaría la hipótesis nula
Según la prueba ANOVA se rechazaría la hipótesis nula y se aceptaría la hipótesis alternativa
| Eso quiere decir que ambas variables estan correlacionadas pero no tienen la misma media? y si es así ya no se aceptaría la hipótesis nula? |
Según he visto buscando info por otras fuentes: ANOVA nos indica si las medias de dos distribuciones son similares o no, mientras que pearson nos muestra la correlación. De ser así, los resultados serían correctos ya que existe una correlación entre ambas variables pero sus medias son diferentes. MEDIAS:
solo un comentario, nunca se acepta la hipótesis alterna las pruebas solo nos hablan del rechazo o la aceptación de la hipótesis nula
Otro ejercicio que dio gusto hacer:
iris['sepal-length'].corr(iris['petal-length'])
0.8717541573048718
st.pearsonr(iris['sepal-length'],iris['petal-length'])
(0.8717541573048713, 1.0384540627941062e-47)
f_oneway(iris['sepal-length'],iris['petal-length'])
F_onewayResult(statistic=171.59701800168915, pvalue=2.829733863736772e-31)
