Contenido del curso
Prueba t de Student con Python paso a paso
La prueba t de Student en Python te permite comparar la distribución de dos variables numéricas y decidir si son estadísticamente diferentes. Aquí aprendes a calcularla paso a paso usando Pandas, NumPy y SciPy, ideal si estás validando hipótesis en proyectos de análisis de datos.
Qué librerías necesitas para automatizar pruebas de hipótesis
Antes de calcular cualquier estadístico, prepara tu entorno. Un notebook en Colab funciona perfecto para este flujo.
Las librerías que vas a importar son:
pd para manejar la tabla de datos.np para operaciones matemáticas como la raíz cuadrada.sns por si necesitas visualizar.stats, junto con los módulos f_oneway y ttest_ind, que son específicos para pruebas de hipótesis.python import pandas as pd import numpy as np import seaborn as sns import scipy.stats as stats from scipy.stats import f_oneway from scipy.stats import ttest_ind
El dataset que usarás es el clásico Iris, cargado desde la URL del repositorio de machine learning. Define los nombres de columnas: sepal length, sepal width, petal length, petal width y la variable categórica class.
Cómo se calcula el error estándar antes del t de Student
La fórmula t de Student depende de un cálculo previo, el error estándar (SE), que es la desviación estándar dividida entre la raíz cuadrada del tamaño de muestra. Sin este paso, no puedes llegar al estadístico final.
La idea es comparar dos variables numéricas: en este caso sepal length contra sepal width. Para cada una calculas su SE [04:30].
python SE_length = iris['sepal_length'].std() / np.sqrt(10) SE_width = iris['sepal_width'].std() / np.sqrt(10)
¿Qué es el error estándar (SE)? Es una medida de cuánto varía la media de una muestra respecto a la media real. Se calcula como la desviación estándar dividida entre la raíz cuadrada del tamaño de muestra.
Luego viene el standard error deviation (SED), que combina los dos errores estándar elevándolos al cuadrado, sumándolos y sacando la raíz cuadrada. Esto te da un denominador único para la fórmula t.
python SED = np.sqrt(SE_length2 + SE_width2)
Por qué conviene calcular cada paso por separado
Podrías hacer todo en una sola línea, pero separar el cálculo te ayuda a detectar errores y a entender qué está pasando en cada operación. Es una buena práctica cuando empiezas con estadística aplicada.
Cómo interpretar el valor t y el p-value en Python
Con el SED listo, calculas el estadístico t como la diferencia de medias entre las dos variables dividida por el SED [07:00].
python tstat = (iris['sepal_length'].mean() - iris['sepal_width'].mean()) / SED
El resultado en este ejercicio fue 9.43. Ese es tu valor t.
Para obtener el p-value, usas el módulo ttest_ind de SciPy, que recibe las dos variables a comparar:
python ttest_ind(iris['sepal_length'], iris['sepal_width'])
La salida arrojó un estadístico de 36 y un p-value de 3.98e-112, un número extremadamente pequeño.
¿Qué significa un p-value tan pequeño? Indica que la probabilidad de que las dos distribuciones sean iguales por azar es casi nula. Por eso se rechaza la hipótesis nula.
Cuándo rechazar la hipótesis nula con el método t
La regla de decisión es directa:
La conclusión: la distribución de sepal length es muy distinta a la de sepal width. Tu hipótesis inicial de que serían parecidas no se sostiene con los datos.
¿Cuándo usar t de Student y no otra prueba? Cuando quieres comparar las medias de dos grupos o variables numéricas. Si tienes tres o más grupos, lo correcto es usar ANOVA.
Conceptos clave que aparecen en el ejercicio
Para que el cálculo tenga sentido, conviene tener claros varios términos que se cruzan en el código:
.std() en Pandas.np.sqrt() se usa tanto en el SE como en el SED.El flujo completo, importar librerías, calcular SE, calcular SED, sacar el estadístico t y validar con ttest_ind, te da una plantilla replicable para cualquier comparación entre dos variables numéricas.
¿Qué dos variables del dataset Iris compararías tú con este método? Cuéntalo en los comentarios y comparte tu resultado.
Rubén Cuello
EstudianteLa fórmula de SED que aparece en 5:51 no está bien. Aparece 2 veces sigma sub-1, lo que hace a uno pensar que son el mismo valor, y no es así, ya que corresponden a los valores de sepal-length y sepal-witdh respectivamente. Atentos a ese detalle.
Juan R. Vergara M.
EstudianteBuena observación.
Santiago Caldevila
Estudiantearreglado como buenamente se pudo jsjsjs
Fernando Jesús Núñez Valdez
EstudianteEste video me ayudo a comprender mejor muchos conceptos que no entendia bien:
Básicamente esta clase de Platzi me ayudó a entender como realizar el t-test utilizando Python y la librería de scipy, pero no entendí que significaba o como interpretar cada concepto.
Christian Rangel
EstudianteExactamente, no se entiende que está haciendo porque no se ha tocado esos temas previamente en el curso y tampoco tiene clases sugeridas de otros cursos donde expliquen los conceptos de los tipos de errores. Yo no entendí esta clase.
Benjamín Cortés
EstudianteExcelente video, gracias por el aporte me sirvio
Camilo Granda Gómez
EstudianteAclaraciones respecto a los resultados de los ejemplos:
Al calcularlo con un N igual a la longitud total del conjunto de datos (len(iris)) el resultado es el mismo que el valor t calculado con scipy.stats (df = degreees of freedom):
El valor del t-test no se compara con el p-value. Entonces, ¿Cómo se interpreta este número? El valor esperado de t bajo la hipótesis nula es 0, es decir, si el resultado del t-test es 0 (o cercano), no hay diferencias significativas entre las medias de las muestras comparadas. Por otro lado, un valor t grande en magnitud (ignorando si hay signo negativo) indicaría que sí hay una diferencia.
El p-value se compara con un límite de significancia alfa (0.05, 0.01). Si el p-value es menor a este alfa, rechazamos la hipótesis nula y podemos concluir que sí existe una diferencia significativa entre las medias. En este caso el p-value = 7.02e^-112, por lo que es un valor muy inferior a un alfa de, por ejemplo, 0.05.
En conclusión, con un valor del t-test grande y un p-value inferior a un alfa de 0.05, podemos rechazar la hipótesis nula y decir que si existe una diferencia significativa entre las variables.
Jeinfferson Bernal G
EstudianteEs la explicacion que le faltaba a la clases. Gracias Camilo
Jesús Enrique García
EstudianteMe confunde un poco la sintaxis que usa la profe, desconocía que
iris.mean()['sepal-length']
Podía ser lo mismo que
iris['sepal-length'].mean()
lo use de las dos maneras y da lo mismo, pero aun así prefiero la segunda forma, que me parece, es la más intuitiva
Willy Samuel Paz Colque
Estudianteiris.mean()['sepal-length'] calcula la media de todas las columnas y luego recuperas la columna especificada "sepal-length"
iris['sepal-length'].mean() estas seleccionando primero la columna y luego calculas la media únicamente para esa columna, esta sería mas eficiente ya que solo estas calculando los datos que vas a utilizar.
Jeinfferson Bernal G
EstudianteTambien se podria usar de la siguiente forma
iris.sepal-length.mean()
Juan Santiago Gutierrez Estrada
EstudiantePara quienes quieran tener las fórmulas no con imágenes sino como código en Latex dentro del Markdown.
SE
$$ SE = \frac{\sigma}{\sqrt{N}} $$
SED
$$ SED = \sqrt{\frac{\sigma_1^2}{N_1}+\frac{\sigma_2^2}{N_2}} $$
t de Student
$$ t = \frac{\bar{x_1}-\bar{x_2}}{SED}=\frac{x_1-x_2}{\sqrt{\frac{(s_1)^2}{n_1}+\frac{(s_2)^2}{n_2}}} $$
Christian Rangel
EstudianteQuiero aprender a escribir ecuaciones con Markdown
Samit Arias
EstudianteEn este video explican un poco mejor la prueba de hipótesis T Student https://youtu.be/RA9mPkbrZqU
Alexander Pino
EstudianteBuen aporte, gracias.
Jesus Daniel Quiroga Saldaña
Estudiantegracias por el aporte
Jhon Freddy Tavera Blandon
EstudianteLa prueba t de Student es una prueba estadística utilizada para comparar dos medias de muestras independientes para determinar si existe una diferencia significativa entre ellas. En Python, se puede realizar una prueba t de Student utilizando la función "ttest_ind" del paquete
"scipy.stats".
Ejemplo:
Copy code
from scipy.stats import ttest_ind
datos de muestra 1
sample1 = [1, 2, 3, 4, 5]
datos de muestra 2
sample2 = [5, 6, 7, 8, 9]
realizar la prueba t de Student
t_stat, p_value = ttest_ind(sample1, sample2)
# imprimir el valor t y el valor p print("t-statistic:", t_stat) print("p-value:", p_value)
En el ejemplo, la variable "t_stat" contiene el valor t calculado y la variable "p_value" contiene el valor p obtenido de la prueba. Si el valor p es menor que un nivel de significancia establecido (generalmente 0,05), se rechaza la hipótesis nula (que las dos medias son iguales) y se concluye que existe una diferencia significativa entre las dos muestras.
Nota: Es importante recordar que, al igual que en cualquier prueba estadística, es necesario cumplir con ciertos supuestos antes de realizar una prueba t de Student, como normalidad y varianza homogenea en las muestras.
Francisco Jesus Malasquez Quispe
EstudianteExacto, tienes la razon acerca de los supuestos, estuve aplicando el ejercicio en python y me percate que 'ttest_ind' asume por defecto varianzas iguales y para cambiar ello se agregaria el parametro 'equal_var= False' en el caso de que no sean varianzaas iguales
Christopher Brian Guzmán Martínez
EstudianteEn que momento se planteó la Ho???
nicolas garzon
EstudianteNo se si me perdí, pero ella al sacar el estadístico t debió buscar el valor de t al nivel de significancia no? Por que comparo el estadístico t con el p-value? No son diferentes uno es una estadística el otro una probablidad
Thomas Gonzalez Rodrigues
EstudianteEl P-value me dice cual es la probabilidad de que el valor del t-test sea de puro chance, lo que se compara en la tabla es el valor del t-test correspondiente al p-value de 0.05 (usualmente el que se usa).
También como se ve en la función del final se puede obtener el p-value directamente, que me diría la probabilidad de que se produzca por chance en este caso solo habría que preocuparse por que este me de mayor a 0.05.
Edwin Uldarico Hernandez Osorio
EstudianteDistribución t de student
N -> muestra de 10 --- porque fue escogida de esa forma
no debería de calcularse el tamaño de la muestra ? esta parte parece algo arbitraria
Lo otro que genera confusion es que se definió a N como la población y a n como la muestra, pueden aclarar por favor los conceptos
Thomas Gonzalez Rodrigues
Estudiantesi tienes toda la razón de echo si lo haces de ese modo el resultado te da igual que la función
la parte que dice statistic se refiere al t-value
ANDRES EDUARDO MEDINA FERNANDEZ
EstudianteEn este caso t_stat es nuestro valor critico y p nos da dos valores el t calculado (36.54) y el alpha ( 3.987 e -112), Si el valor absoluto del valor t calculado es mayor que el valor crítico, usted rechaza la hipótesis nula. Si el valor absoluto del valor t es menor que el valor crítico, usted no puede rechazar la hipótesis nula. (Cuanso se usa el igual en la prueba de hipotesis siempre nos referimos a una prueba t de dos colas). HIPOTESIS NULA : Las dos muestras provienen de la misma poblacion o tienen la misma distribución H0=H1
Otra forma de comprobar esto es mirando el valor alpha el cual es menor que el nivel de significancia este alpha esta dentro de la zona de rechazo de la hipoesis nula ya que es menor que nuestro alpha de 0.5
Harold Baigorria
EstudianteUn aporte, en mi caso me salia un error al momento de calcular las formulas porque estaba tomando strings
lo corregi de la siguiente manera solo en caso les ayude.
Ada Nicol Lloret Rey
EstudiantePara aquellos que tienen errores por culpa de la columna 'class' es porque Pandas ahora cuando usamos el método .mean() intenta calcular el promedio de todas las columnas incluso antes de que lea la parte en la que especificamos la columna de la que queremos obtener el promedio. Es por eso que aparece un error diciendo que no se pueden hacer operaciones matemáticas para una columna categórica, ese error lo podemos arreglar así: iris.drop('class', axis=1).mean().
El código completo sería:
t_stat = (iris.drop('class', axis=1).mean()['sepal-length'] - iris.drop('class'), axis=1).mean()['sepal-width']) / sed
Thomas Gonzalez Rodrigues
Estudiantela profe se equivoco en el minute -6:14 hay que poner el tamaño de la muestra con el tamaño real no con 10
se_length = df['sepal-length'].std()/np.sqrt(len(df)) #standar error se_width = df['sepal-width'].std()/np.sqrt(len(df)) #standar error
osea así
de esta forma si te da lo mismo que la function final
Christian Rangel
EstudianteNO me queda claro, ¿si usas el valor de N = a Todos los elementos del conjunto, te da igual que a la profesora que usó N =10 entonces?
Anabel Chavez Berumen
Estudiantetu mismo lo dijiste el "Tamaño de la muestra" y es eso 10 es una muestra, para T student ocupas una muestra no la población, y regularmente es menor al 10% en este caso 10 , y obvio el resultado no podría ser igual por que por lógica la anchura y el largo de los sépalos no son iguales.
Felipe Sebastián Zepeda González
EstudianteEs necesario aclarar algo: El estadistico “t _obs” NO se debe comparar con el p-value, pero sí están relacionados. Para el testing con T-Student:
p-value= Prob( |T | > | t_obs | ), donde T es una variable aleatoria que sigue una distribución T Student con grados de libertad df=N-1, y t _obs es el valor del estadistico observado. El p-value es por definición valor más bajo de alpha sobre el cual se rechazaría la hipótesis nula. Si p-value < alpha, donde alpha es el nivel de significancia deseado (normalmente se usa el 5% o alpha=0.05), entonces se rechaza la hipótesis nula.
Igualmente podemos tomar la decicisón del testeo sin necesidad de tomar el p-value. Rechazaremos la hipotesis nula si |t_obs| > t_{df , alpha/2}= F^-1 (1-alpha/2). Donde F^-1 es la inversa de la CDF de la distribución T-Student. También es posible obtener F^-1 (1-alpha/2) a partir de una tabla, similar a como se hace con la distribución Normal.
Felipe Sebastián Zepeda González
EstudianteQuisiera hacer una corrección sobre mi post: Los grados de libertad en este problema de dos poblaciones NO es df= N-1, sino df= 2 N - 2. Con eso el cálculo de p-value computacional queda como:
p_manual= 2*st.t.cdf(-np.abs(t_stat),df=2*len(iris)-2)
que nos entrega el mismo p-value del ttest_ind. Warning: Este método asume implicitamente que las varianzas de ambas poblaciones son iguales, lo cuál no es claro de buenas a primeras. Tal vez sería bueno hacer una exploración visual sobre esa suposición.
Una alternativa sería no suponer que las varianzas de las poblaciones no son iguales, lo cual se puede hacer incluyendo el parametro "equal_var=False" al método ttest_ind
p_clase=ttest_ind(df['sepal-length'], df['sepal-width'], equal_var=False)
Referencia:
MIGUEL GEOVANNY ARIAS RODAS
Estudiante
También una sintaxis ligeramente diferente y la forma de escribirlo con Markdown en un chunk de texto de colab.
Julián Esteban Olejua Pinto
EstudianteEncuentro algunos errores en la aplicación del concepto de la prueba t. Inicialmente, se está realizando una comparación de poblaciones (variable class) utilizando variables que agrupan poblaciones diferentes. En este caso, lo ideal sería efectuar el análisis entre dos poblaciones claramente diferenciadas. Otra consideración importante es la necesidad de aplicar pruebas de normalidad a las variables de estudio, ya que la normalidad es uno de los supuestos de este tipo de pruebas estadísticas. Adicionalmente, se debe implementar la prueba de Levene con el fin de identificar si las varianzas de las dos poblaciones son homogéneas.
Jeisson David Chavarro Torres
Estudiantepor que compara el t-value con el pvalue?, mejor dicho que significa cada uno de esos numeros... me perdí un poco en esta clase
Yonatan Efraín Jara Boza
EstudianteNo debió, te invito a leer los aportes ahi ayudaron con esta duda
Christian Rangel
EstudianteSiento que a esta clase le faltó una clase previa! para ahondar más sobre los tipos de errores
Roger Christian Cansaya Olazabal
EstudiantePorque N = 10?, Osea puede ser cualquier dato? Deberia tener alguna explicacion ese detalle.
Christian Rangel
EstudiantePor lo que entiendo la profe toma ese número de elementos (N=10) de forma arbitraria
Yonatan Efraín Jara Boza
EstudianteNo se justificó, entiendelo como si hubiese dicho 'supongamos que tomo una muestra de 10 para estudiarlos'. Le doy sentido en que las distribuciones de t son para muestras pequeñas, menores de 30.