Curso de Estadística Inferencial para Data Science e Inteligencia Artificial
Contenido del curso
Varianza y desviación estándar en Python
Calcular la varianza y desviación estándar en Python se vuelve sencillo cuando combinas pandas, numpy, matplotlib y seaborn sobre una base de datos real. Aquí aprenderás a hacerlo paso a paso usando el famoso dataset Iris, tanto para la población completa como para una muestra aleatoria, e interpretar los resultados frente al promedio.
Qué librerías necesitas para analizar varianza en Python
Antes de tocar los datos, importa las herramientas que harán todo el trabajo pesado.
Un detalle que puede frenarte: matplotlib se escribe con b, no con p. Si te equivocas, Python te marcará error de inmediato.
¿Para qué sirve seaborn frente a matplotlib? seaborn genera visualizaciones estadísticas más estéticas con menos código, como el displot que combina histograma y curva de densidad en una sola línea.
Cómo cargar el dataset Iris desde una URL
En lugar de descargar archivos, puedes leer el CSV directamente desde una URL con pandas. El dataset Iris no trae nombres de columnas, así que debes definirlos manualmente como un vector con cinco elementos: sepal length, sepal width, petal length, petal width y la clase de flor.
python iris = pd.read_csv(url, names=names)
La longitud y el grosor del sépalo y del pétalo son variables numéricas, mientras que la clase es categórica e identifica el tipo de flor.
Cómo explorar la distribución antes de calcular la varianza
Visualizar la variable de interés es un paso obligatorio. Si los datos no siguen una distribución normal, la interpretación cambia.
Con iris.head() revisas los primeros registros y confirmas que sepal length tiene valores numéricos consistentes. Luego, un histograma rápido te muestra la forma de la distribución:
python plt.hist(iris['sepal length'], color='orange', bins=185)
Para confirmar la normalidad, seaborn ofrece el displot con estimador de kernel density, una línea suave que une la distribución de puntos.
python sns.displot(iris['sepal length'], hist=True, kde=True, bins=185, color='orange')
El resultado: una curva clásica con menos valores en los extremos y concentración en el centro, típica de una distribución normal.
Cómo calcular varianza y desviación estándar poblacional
Una vez validada la distribución, el cálculo se reduce a una línea de código por métrica.
Qué función usar en pandas para varianza
La función var aplicada sobre una columna devuelve la varianza directamente.
python iris['sepal length'].var()
El resultado para la población completa es 0.68.
Cómo interpretar la desviación estándar con el promedio
La desviación estándar se obtiene con std, abreviatura de standard deviation.
python iris['sepal length'].std()
El valor es 0.82. Pero un número aislado no dice mucho. Necesitas compararlo contra el promedio usando mean:
python iris['sepal length'].mean()
El promedio es 5.84. Como 0.82 representa cerca del 20% del promedio, la desviación es significativa. Si tuvieras un promedio de 100 y una desviación de 1, esa misma cifra sería despreciable.
¿Cuándo una desviación estándar es alta o baja? Depende del promedio. Si la desviación supera el 15 o 20% del valor medio, los datos están dispersos. Si es menor al 5%, están concentrados.
Cómo crear una muestra aleatoria simple en pandas
Trabajar con muestras es clave cuando la población es enorme. pandas incluye la función sample para extraer una fracción aleatoria.
python muestra = iris.sample(frac=0.5)
Esto toma el 50% de los registros de forma aleatoria. Cada ejecución produce una muestra distinta, así que tus números no coincidirán exactamente con los de otra persona.
Qué cambia entre varianza poblacional y muestral
Repites el procedimiento sobre la nueva tabla:
La varianza bajó de 0.68 a 0.59 y la desviación de 0.82 a 0.76. La conclusión se mantiene: como los valores siguen siendo cercanos a 1 frente a un promedio de aproximadamente 5.7, la dispersión es elevada.
¿Por qué la muestra da resultados distintos cada vez? Porque sample selecciona registros al azar. Si necesitas reproducibilidad, agrega el parámetro random_state con un número fijo.
Cómo interpretar correctamente los resultados
El flujo correcto siempre es el mismo: calcula varianza, calcula desviación estándar, obtén el promedio y compara.
Este mismo análisis aplica a sepal width, petal length y petal width. Te dejo el reto: replica el procedimiento con las otras tres variables numéricas y compara cuál presenta mayor dispersión. ¿Qué variable crees que tendrá la varianza más alta? Cuéntame en los comentarios.
Fabian Stevens Varon Valencia
EstudianteFabian Stevens Varon Valencia
EstudianteFabian Stevens Varon Valencia
Estudiante
Adrian Flores Tomas
Estudiante
Jhony Pacheco
Estudiante
Anthony Campos
Estudiante
Eliana Ossio
Estudiante
Benjamín Cortés
Estudiante
Jozmiguel Antonio Cárdenas Mundarain
Estudiante
Wilmer Jimmy Bendezu Alvarez
Estudiante
Leonardo Martínez
Estudiante
Jason Francisco Macas Mora
Estudiante
Alejandro Toledo Cuenca
Estudiante
Johan Nicolás Valderrama Serrato
Estudiante
Gabriel Obregón
Estudiante
Daniel Alberto Paredes Peralta
Estudiante
Ada Nicol Lloret Rey
Estudiante
Nayru Alexandra Ramirez Molano
Estudiante
Oscar Alfredo Prado Bush
EstudianteOlga Lisethe Castellanos Galeano
Estudiante
Leandro Tenjo
Estudiante
Antonio Demarco Bonino
Estudiante
Jhon Freddy Tavera Blandon
Estudiante
Ricardo Gomez
Estudiante
Samit Arias
Estudiante
Alfonso Andres Zapata Guzman
Estudiante
Carlos Ortiz Bonilla
EstudianteHola compañeros,
Les comparto la fórmula de la varianza en Markdown:
Varianza: $$\sigma^{2} = \frac{\sum_{i=1}^{n} \left(x_{i} - \mu\right)^{2}} {N}$$
se vería así:
Saludos.
Olvidé adjuntar la de la desviación estándar:
**standard deviation** $$\sigma = \sqrt{\sigma}^{2} = \sqrt{\frac{\sum\limits_{i=1}^{n} \left(x_{i} - \mu\right)^{2}} {N}}$$
así luce:
Pequeño aporte: en seaborn ya está cargado el dataset de iris, por lo cual no es necesario sacarlo de la URL. Sólo necesitas la siguiente orden:
df_iris=sns.load_dataset('iris')
Coeficiente de variacion 
Buen dato, adicionalmente agregaría debido a que el C.V no supera el 30%, podemos afirmar que la media del conjunto de datos es respresentativa. https://es.wikipedia.org/wiki/Coeficiente_de_variaci%C3%B3n
Gracias por complementar para tener una referencia
Les dejo el url asi lo pegan
https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data
y el código sería
url = 'https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data' names = ['sepal-length','sepal-width','petal-length','petal-width','class'] iris = pd.read_csv(url,names = names) iris.head()
no debería haber otro comando para la varianza y desviación estandar muestral? como en la formula hay un n-1 en el denominador.
Es cierto, se debería de usar
std (ddof=0) y var (ddof=0) para poblacional
std (ddof=1) y var (ddof=1) para muestral, aunque ya NO es necesario indicar el ddof=1 , dado que Pandas lo asume por defecto, es decir podemos dejas () paréntesis vacíos.
https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.std.html
Delta degrees of freedom
También pueden cargar el dataset desde seaborn:
iris = sns.load_dataset('iris')
también pueden cargar el dataset de esta manera
iris = sns.load_dataset('iris')
desc = muestra[['sepal-length','sepal-width','petal-length','petal-width']].describe()
desc.loc['var'] = muestra[['sepal-length','sepal-width','petal-length','petal-width']].var()
print(desc)
📊Análisis estadístico en Python
🛠️ 1. Librerías esenciales
🔹 pandas (pd): manejo de datos 🔹 numpy (np): cálculos numéricos 🔹 matplotlib.pyplot (plt): gráficos básicos 🔹 seaborn (sns): gráficos estadísticos
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
🌐 2. Importar datos desde URL
📌 Pasos clave: 1️⃣ Define la URL 2️⃣ Lee el archivo con pandas 3️⃣ Asigna nombres a las columnas
url = "tu_url_aquí"
names = ["sepalLength", "sepalWidth", "petalLength", "petalWidth", "class"]
iris = pd.read_csv(url, names=names)
🔎 3. Análisis exploratorio
👀 Ver primeros registros
print(iris.head())
📊 Visualizar distribución
plt.hist(iris["sepalLength"], bins=185, color='orange')
sns.displot(iris["sepalLength"], kde=True, bins=185, color='orange')
📐 4. Medidas de dispersión
📌 Conceptos clave:
🔸 Varianza: mide la dispersión respecto a la media.
🔸 Desviación estándar: raíz cuadrada de la varianza.
varianza = iris["sepalLength"].var()
desviacion_estandar = iris["sepalLength"].std()
media = iris["sepalLength"].mean()
🎲 5. Muestras aleatorias
✂️ Crear una muestra del 50%:
muestra = iris.sample(frac=0.5)
📊 Calcular estadísticos en la muestra:
muestra_varianza = muestra["sepalLength"].var()
muestra_desviacion_estandar = muestra["sepalLength"].std()
⚠️ Cada ejecución da resultados distintos por la aleatoriedad.
Una forma de analizar si desviación estándar es muy alta es utilizar el coeficiente de variación (cv) cv = (std_dev / mean) * 100 si el resultado del CV es menor al 10% se podría considerar que la desviación estándar es buena y es probable que la variación se deba a variaciones aleatorias; si es menor a 30% es adecuada y mayor a 30% hay una alta variación, y lo más probable es que sea una variación sistemática, también dependerán de los datos utilizados y su aplicación, para salud la anterior regla no es aplicable, pero para procesos de producción sí.
Buen aporte! :)
Compañeros, yo lo estaba haciendo en vscode, para poder ver las gráficas deben usar plt.show() por ejemplo les dejaré este código
import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as sns
# URL de los datosurl = 'https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data'
# Nombres de las columnasnames = ['sepal-length', 'sepal-width', 'petal-length', 'petal-width', 'class']
# Cargar el conjunto de datosiris = pd.read_csv(url, names=names)
# Mostrar el datasetprint(iris)
# Mostrar las primeras filasprint(iris.head())
# Histograma con Matplotlibplt.hist(iris['sepal-length'], color='orange', bins=36)plt.title('Histograma de sepal-length')plt.xlabel('sepal-length')plt.ylabel('Frecuencia')plt.show()
# Histograma y KDE con Seabornsns.histplot(iris['sepal-length'], kde=True, bins=36, color='orange')plt.title('Distribución de sepal-length con KDE')plt.xlabel('sepal-length')plt.ylabel('Densidad/Frecuencia')plt.show()
Al parecer la función distplot() será eliminada de seaborn, entonces se puede graficar usando histplot() sin problema
El estimador de kernel es una técnica no paramétrica utilizada para estimar la función de densidad de probabilidad de una variable. En lugar de asumir que los datos siguen una distribución específica, el estimador de kernel suaviza los datos utilizando un "kernel" (una función matemática) para crear una estimación continua de la distribución. En el contexto de la clase, se aplica para visualizar la distribución de datos, como en el caso del displot en Seaborn, donde se combina un histograma con la estimación de densidad. Esto ayuda a identificar la forma de la distribución de manera más clara.
La forma más sencilla de completar el ejercicio:
💡 Agregar la varianza al df.describe()
df_describe = df.describe().T #Transpuesta df_describe.insert(3, 'varianza', np.sqrt(df_describe['std']) ) df_describe = df_describe.T
Esta clase hace subir mi AMOR por NumPy y por Seaborn. De verdad que son bibliotecas MARAVILLOSAS.
La varianza
Es una medida de la dispersión de los datos alrededor de los medios. Es una medida cuadrática de la desviación estándar. La desviación estándar es la raíz cuadrada de la variación. Ambas medidas pueden calcularse utilizando el módulo statisticsde Python.
Para calcular la varianza muestral en Python, puede utilizar la función statistics.variance(). Esta función toma un conjunto de datos y devuelve la varianza muestral. Por ejemplo:
Copiar código
import statistics datos = [4, 7, 9, 11, 13] varianza = statistics.variance(datos) print(varianza)
Para calcular la desviación estándar muestral en Python, puede utilizar la función statistics.stdev().
Esta función toma un conjunto de datos y devuelve la desviación estándar muestral. Por ejemplo:
Copiar código
import statistics datos = [4, 7, 9, 11, 13] desviacion_estandar = statistics.stdev(datos) print(desviacion_estandar)
Copiar código
import numpy as np datos = [4, 7, 9, 11, 13] varianza = np.var(datos,ddof=0) print(varianza)
Copiar código
import numpy as np datos = [4, 7, 9, 11, 13] desviacion_estandar = np.std(datos,ddof=0) print(desviacion_estandar)
Un articulo de como interpretar la varianza y la desviación estándar: Link
def varianza(dfcolumn, name): print(f'La varianza de {name} es {dfcolumn.var(ddof=0):.3f}') def desviacion(dfcolumn, name): print(f'La desviacion estandar de {name} es {dfcolumn.std(ddof=0):.3f}') def promedio(dfcolumn, name): print(f'El promedio de {name} es {dfcolumn.mean():.3f}') name = 'poblacional sepal-width' varianza(iris['sepal-width'], name) desviacion(iris['sepal-width'], name) promedio(iris['sepal-width'], name) name = 'muestra 20% sepal-width' varianza(muestra['sepal-width'], name) desviacion(muestra['sepal-width'], name) promedio(muestra['sepal-width'], name)
En este caso la desviación estándar es baja. El coeficiente de variación está muy cercano a 0. Entre más grande sea, más heterogéneos serán los datos.
