Varianza y Desviación Estándar

Clase 8 de 28 • Curso de Introducción a Machine Learning 2017

Resumen

Después de mirar los conceptos básicos de Probabilidad y Estadística y haberlos reafirmado con los ejercicios del material pasado, ahora veremos los conceptos avanzados que se necesita entender.

Conceptos avanzados:

- Varianza = Es una medida de dispersión definida como la esperanza del cuadrado de la desviación de dicha variable respecto a la media, o dicho de otra forma, es la media de los residuos al cuadrado.

Esta formula se explica mejor siguiendo estos pasos: a) Calcular la suma de los datos. b) Calcular la media. c) Restar la media a cada dato. d) Elevar al cuadrado cada resultado. e) Sumar todos los resultados y sacar la media de esa sumatoria.

- Desviación Estándar = Es la raíz cuadrada de la varianza de la variable.

Antonio Villavicencio Garzón

student•

Me permito hacer una crítica con respecto a la profesora. El gran problema de la mayoría de profesores de Matemática es que empiezan a explicar los conceptos bases por la fórmula y no por lo que representan o por cómo nos ayudan a analizar el conunto de datos. Es por eso que los alumnos se pierden en el camino y en algunos caso detestan las Matemáticas. Cuando se explica un concepto como la varianza se tiene que explicar que nos ayuda a entender cómo los datos están más o menos dispersos con respecto a la media.

Hayde Martínez

teacher•

Gracias antoniov por el comentario, lo tomaré en cuenta 😃

Nico Jara

company_admin•

Si, también creo que faltó profundizar un poco en el “para qué” sirve calcular cada uno de estos conceptos, o como relacionarlos con AI (o quizá se explica más adelante y me estoy adelantando a los hechos jajaj, de todas formas muy bien hasta aquí)

jose roman alonso antoranz

student•

Hoy por primera vez me atrevo a publicar algo: espero que sirve 😉

Para el que aún no entienda el significado de varianza y desviación estandar:
Os pongo un ejemplo muy sencillo imaginar que tu y tus amig@s os reunís una tarde y quereis determinar una forma de agruparos en 4 grupos los muy altos, los altos , los normales y los bajos, como establecerías los limites para entrar en cada grupo de forma mas “justa”.

1- Os tomáis medida de vuestras alturas por separado.

2-Una vez tomadas las alturas, podemos hacer una media de todas vuestras alturas, hasta aquí fácil no…? …pues lo demás igual de fácil. imaginemos que la altura media de tuya y tus amigos os ha salido 1,70 cm.

3-Pues bien la varianza que aun no siendo exactamente lo que te voy a decir lo vas a entender mejor es una especie de media de la media y “solo sirve” para poder calcular la desviación estandar. ahora lo entenderás mejor espera…imaginate que te ha dado 3,45

4-¿Y para que sirve la desviacion standard?
Usando el valor que hemos calculado (la varianza) y seguimos con el ejemplo, imagina que eres capaz de meter todos los datos en la calculadora para hacer la formula de la desviación típica (que también se las trae conseguir hacerlo) y el resultado que te sale es de 12cm.

5.¿Bien y ahora que indica ese numero?
Indica que tenemos otra barrera en 12cm por arriba de la media (que era 1,70 y se queda en 1,82cm) y 12 por debajo de la media (que era 1,58cm).

6.¿Porque lo calculamos asi?
Ya que hemos usado las formulas hemos echo un distribucion justa de las alturas, pues bien algunas medidas de tus amigos estarán por encima de la media y otras por debajo,

7.¿Que hacemos con esas nuevas “medias” ?
¡facil! ahora para nuestro estudio concretamos entre todos los amigos que los que pasen de 1,82cm los vamos a considerar personas muy altas, los que estén entre la media y por debajo de la la desviación estándar (osea entre 182 y 1,70) seran personas altas para nosotros, los que estén entre la media y por encima de la desviación corta (1,70 -1,58) normal, y por debajo de 1,58 , pequeños.

y listo!

PDT: Esto no es necesario pero si quieres información adicional
¿por qué al cuadrado?
Elevar cada diferencia al cuadrado hace que todos los números sean positivos (para evitar que los números negativos reduzcan la varianza)

Y también hacen que las diferencias grandes se destaquen. Por ejemplo 100elevado 2=10,000 es mucho más grande que 50elevado2 =2,500.

Pero elevarlas al cuadrado hace que la respuesta sea muy grande, así que lo deshacemos (con la raíz cuadrada) y así la desviación estándar es mucho más útil.

Suerte a tod@s

Andrés David Ríos Ramirez

student•

Muy util. Muchas gracias. Sigue así.

Danilo Toro

student•

Muy buena explicación!! te ganaste un like

Stuard Gerardo Carrillo Gonzalez

student•

La varianza y la Desviacion estandar en Python

from math import pow, sqrt

#Obtener media
def media(datos):
    sumatoria = sum(datos)
    n = len(datos)
    result = sumatoria / n
    return result

#Obtener la varianza
def varianza(datos):
    v_media = media(datos)
    varianzalist = []
    for i in datos:
        i = pow((i - v_media), 2)
        varianzalist.append(i)

    v_varianza = sum(varianzalist) / len(varianzalist)
    return v_varianza

#Obtener la desviacion Estandar
def desviacionEstandar(datos):
    desviacion = sqrt(varianza(datos))
    return desviacion

Nico Jara

company_admin•

Gracias por el aporte 😃

Andres Leonardo Arevalo

student•

Con esta explicación de la pagina web a continuación me queda mas que claro que es varianza y desviación estándar.

Hacer las cosas sencillas es muy difícil definitivamente:

Juan Sebastian Avila

student•

Muy buen ejemplo. Gracias!

Marcos Giménez López

student•

Qué buen aporte. Con perritos siempre son más fáciles las cosas! 😛

Antonio Villavicencio Garzón

student•

Creo que has caído en el tradicional problema de los profesores de Matemática. Empiezan a explicar los conceptos de varianza y desviación estándar por la fórmula, pero nunca explican qué significa o cómo nos ayuda a analizar el conjunto de datos. Por eso es que los alumnos no entienden y terminan odiando las Matemáticas. Tienen que empezar explicando que estas dos medidas nos dan una idea de qué tan dispersos están con respecto a la media.

Javier Eduardo Perez Carreño

student•

Primer Conjunto de números:
1525,257,378,9543,7854,152
Sumatoria = 19709
Media = 3284,83
Sumatoria de (xi - Media)^2 = (1525 - 3284,83)^2 + (257 - 3284,83)^2 +(378 - 3284,83)^2 +(9543 - 3284,83)^2 +(7854 - 3284,83)^2 +(152 - 3284,83)^2

= (- 1759,833333)^2 +(- 3027,833333)^2 + (- 2906,833333)^2 + (6258,166667)^2 + (4569,166667)^2 + (- 3132,833333)^2

= 3097013,361 + 9167774,694 + 8449680,028 + 39164650,03 + 20877284,03 + 9814644,694 = 90571046,83

sumatoria divido n = 90571046,83/6

Varianza = 15095174,47

Desviación estándar = Raiz(15095174,47) = 3885,250889

Segundo Conjunto de números:
9, 5, 9, 4, 3, 6, 7, 1, 2, 3, 9, 1, 2
Sumatoria = 61
Media = 4,69
Sumatoria de (xi - Media)^2 = (9 - 4,69)^2 + (5 - 4,69)^2 + (9- 4,69)^2 + (4- 4,69)^2 + ( 3- 4,69)^2 + ( 6- 4,69)^2 + ( 7- 4,69)^2 + ( 1- 4,69)^2 + ( 2- 4,69)^2 + ( 3- 4,69)^2 + ( 9- 4,69)^2 + ( 1- 4,69)^2 + ( 2- 4,69)^2

= (4,31 )^2 + ( 0,307692308 )^2 + (4,307692308 )^2 + (-0,692307692 )^2 + (-1,692307692)^2 + (1,307692308 )^2 + (2,307692308 )^2 + (-3,692307692 )^2 + (-2,692307692 )^2 + (-1,692307692 )^2 + (4,307692308 )^2 + (-3,692307692 )^2 + (-2,692307692 )^2

=18,55621302 + 0,094674556 + 18,55621302 + 0,479289941 + 2,863905325 + 1,710059172 + 5,325443787 + 13,63313609 + 7,24852071 + 2,863905325 + 18,55621302 + 13,63313609 + 7,24852071

=110,7692308

sumatoria divido n = 110,7692308/13
Varianza = 8,520710059
Desviación estándar = Raiz(8,520710059) = 2,919025532

Hebert lughi villafuerte ccacala

student•

we me salio 3.132195806 la desviación estándar

Johan Robles Rodriguez

student•

Como me hubiera servido esta clase en la u...

Andres Leonardo Arevalo

student•

Me gustaron estas definiciones, fuente:

**Varianza: ** Lo que hace la varianza es establecer la variabilidad de la variable aleatoria. Cabe destacar que las medidas de dispersión (también identificadas con el nombre de medidas de variabilidad) se encargan de expresar la variabilidad de una distribución por medio de un número, en los casos en que las diferentes puntuaciones de la variable están muy alejadas de la media. A mayor valor de la medida de dispersión, mayor variabilidad. En cambio, a menor valor, más homogeneidad.

Desviación estándar: la desviación estándar, también conocida como típica, que representa la magnitud de la dispersión de variables de intervalo y de razón. Valiéndose tan sólo de la media entre un conjunto de valores, no es posible saber si alguno de ellos está excesivamente alejando de la “normalidad” existente en dicho contexto. La desviación estándar permite establecer dos nuevos límites alrededor de dicha línea central, para saber cuándo un elemento es demasiado pequeño o grande.

Leonardo Nava

student•

Mi codigo despues de estar iterando en la lista. una pagina de google me ilumno y esta el package statistics que puede sacar las formulas de Varianza y Desviación estandar.

# -*- coding: utf-8 -*-
import statistics as stats
if __name__ == '__main__':
    data = [0, 2, 4, 5, 8, 10, 10, 15, 38]
    Varianza = stats.pvariance(data)
    Desv = stats.pstdev(data)
    print('Varianza: {}, Desviación: {}'.format(Varianza, Desv))

Hebert lughi villafuerte ccacala

student•

trabaje con todos los decimales
si alguien me corrige o estoy bien …

Diego Forero

Team Platzi•

Al trabajar con mas decimales te permite tener mayor precisión.

Celso Espinoza

student•

Te toca desarrollarlo en Python u otro lenguaje de programación, para que practiques doble.

Pablo Cortes

student•

Aquí os dejo mi código de la varianza y desviación estándar.

from math import sqrt

#VARIANZA
def funcion_varianza(numeros):
	media = sum(numeros)/len(numeros)
	indice = 0
	for i in numeros:
		indice += 1 
		i= (i-media)*(i-media) #=pow((i - media), 2)
		numeros[indice-1] = i
	varianza = sum(numeros)/len(numeros)
	return varianza

#DESVIACION ESTANDAR
def funcion_desviacion_estandar(numeros):
	# la funcion sqrt hace la raiz cuadrada
	desviacion = sqrt(funcion_varianza(numeros))
	return desviacion

Ricardo Celis

teacher•

Excelente Sabo, sigue asì =)

Cristian Camilo Sosa Pinzon

student•

Lo que hace la varianza es establecer la variabilidad de la variable aleatoria. El número que resulta de su cálculo nos permite conocer su comportamiento: Si la varianza está demasiado alejada de la media entonces la variable presenta mayor dispersión o tiende a variar demasiado. (pueden verificarlo con el ejemplo la manera tan abrupta que va cambiando la variable 0,…,10,15,38).
Si por el contrario la varianza nos da con un valor cercano a la media, entonces la variable tiende hacer menos variable o a tender ser homogénea.
Y la desviación estándar es simplemente el promedio o variación esperada con que la variable aleatoria cambia con respecto a la media.

Usuario anónimo

user•

Aquí mi resultado

import statistics as stats
import math
dato  = [0,2,4,5,8,10,10,15,38]
dato2 = []
cuadrado = []
for dat in dato:
	dato2.append(round(dat-stats.mean(dato),3))
for dat in dato2:
	cuadrado.append(round(dat**2,2))
print("1. calculamos la suma de todos los datos: {}".format(sum(dato)))
print("2. calculamos la media: {}".format(round(stats.mean(dato),3)))
print("3. Restar la media a cada dato: {}".format(dato2))
print("4. Elevar al cuadrado cada resultado: {}".format(cuadrado))
print("5. Sumamos todos los resultados y sacar la media de esta suamtoria: {}".format(round(stats.mean(cuadrado),3)))
print("6. Raiz cuadrada del resultado: {}".format(round(math.sqrt(stats.mean(cuadrado)),3)))

Jhonatan Steven Yepes

student•

La desviación estándar sirve para medir la dispersión de los datos, es decir que tan alejados se ajustan los datos a la media. Para complementar pueden investigar sobre la campana de Gauss

Victor Tortolero

student•

Creo que ayudaría bastante presentar los datos de manera gráfica, y mostrar lo que representa la varianza y desviación estándar en este gráfico. En mi caso fue lo que me ayudo a entender estos conceptos mejor

Simón Ottoniel González Acosta

student•

Investigando un poco sobre estas medidas, por favor si hay algo que mejorar comenten:

La varianza y la desviación estándar forman parte de las medidas de dispersión en estadística.

Las medidas de dispersión sirven para analizar que tan alejados están los datos que se estudian con respecto del promedio también denominado “media”.

Entonces son medidas muy importantes para saber que tan disperso del promedio es el conjunto de datos que estamos analizando, como todas las edades o estaturas de un conjunto de personas por poner un ejemplo, y en base a esto tomar conclusiones muy valiosas.

La varianza y la desviación estándar estan directamente relacionadas. La diferencia es que la varianza esta elevada al cuadrado para evitar que los números negativos afecten el resultado, y al final la desviación vendria a ser la raíz cuadrada de la varianza.

Ambas analizan cuan desviado es todo el conjunto del promedio.

Espero que sirva para aclarar un poco de estos conceptos complejos en el campo de la estadística 😃

Fabián Antonio Salgado Sepúlveda

student•

La fórmula de la desviación estándar mencionada en la descripción de la clase no corresponde a la explicación que tiene debajo. Ya que la fórmula menciona tiene N-1.
¿O estoy equivocado?

Paula Becerra

teacher•

Hola! No estás equivocado. De hecho, existen dos fórmulas para calcular la desviación estándar. La primera es la que se puede aplicar en casos de desviación estándar muestral, la cual es la que contiene N-1. Y la otra es la que podemos usar en desviación estándar poblacional que es la que muestra Haydé en el video. Gracias por tu comentario.

Fabián Antonio Salgado Sepúlveda

student•

Muchas Gracias @paulaandreabecerra.

Marcela Ester Oviedo Arriagada Ester Oviedo Arriagada

student•

Hola, tengo una duda. Me llamo la atención que en la desviación estándar se use como denominador (n-1), investigando se usa la formula de esa forma para centrar los datos, pero no entiendo que efecto práctico pueda tener en el resultado. Algún alma de Dios que me ayude??

Diego Forero

Team Platzi•

Es usado sobre todo cuando se trabaja en inferencias poblacionales y es llamada Corrección de Bessel, su objetivo es corregir el sesgo estadístico.

Fuentes:

Saul Flores

student•

En python sin importar paquetes

datos = [0, 2, 4, 5, 8, 10, 10, 15, 38]

def media(valores):
    return sum(valores) / len(valores)

def varianza(valores):
    ans = []
    for valor in valores:
        ans.append(pow(valor - media(valores), 2))
    return media(ans)

def desviacionE(valores):
    return pow(varianza(valores), 0.5)
#Se imprimen los resultados
print('Media: ', media(datos))
print('Varianza: ', varianza(datos))
print('Desviacion: ',desviacionE(datos))

Cristian Orozco Benjumea

student•

En finanzas se define la desviación estandar como el riesgo, es decir el cambio que puede experimentar un valor frente al esperado.

Héctor Daniel Vega Quiñones

teacher•

Lo interesante es que puedes desarrollar modelos de Machine Learning para calcular y analizar este tipo de desviaciones.

En cursos posteriores aprenderás como. Recuerda afinar tus habilidades en Python 😉

from math import pow, sqrt

#Obtener media
def media(datos):
    sumatoria = sum(datos)
    n = len(datos)
    result = sumatoria / n
    return result

#Obtener la varianza
def varianza(datos):
    v_media = media(datos)
    varianzalist = []
    for i in datos:
        i = pow((i - v_media), 2)
        varianzalist.append(i)

    v_varianza = sum(varianzalist) / len(varianzalist)
    return v_varianza

#Obtener la desviacion Estandar
def desviacionEstandar(datos):
    desviacion = sqrt(varianza(datos))
    return desviacion

# -*- coding: utf-8 -*-
import statistics as stats
if __name__ == '__main__':
    data = [0, 2, 4, 5, 8, 10, 10, 15, 38]
    Varianza = stats.pvariance(data)
    Desv = stats.pstdev(data)
    print('Varianza: {}, Desviación: {}'.format(Varianza, Desv))

from math import sqrt

#VARIANZA
def funcion_varianza(numeros):
	media = sum(numeros)/len(numeros)
	indice = 0
	for i in numeros:
		indice += 1 
		i= (i-media)*(i-media) #=pow((i - media), 2)
		numeros[indice-1] = i
	varianza = sum(numeros)/len(numeros)
	return varianza

#DESVIACION ESTANDAR
def funcion_desviacion_estandar(numeros):
	# la funcion sqrt hace la raiz cuadrada
	desviacion = sqrt(funcion_varianza(numeros))
	return desviacion

import statistics as stats
import math
dato  = [0,2,4,5,8,10,10,15,38]
dato2 = []
cuadrado = []
for dat in dato:
	dato2.append(round(dat-stats.mean(dato),3))
for dat in dato2:
	cuadrado.append(round(dat**2,2))
print("1. calculamos la suma de todos los datos: {}".format(sum(dato)))
print("2. calculamos la media: {}".format(round(stats.mean(dato),3)))
print("3. Restar la media a cada dato: {}".format(dato2))
print("4. Elevar al cuadrado cada resultado: {}".format(cuadrado))
print("5. Sumamos todos los resultados y sacar la media de esta suamtoria: {}".format(round(stats.mean(cuadrado),3)))
print("6. Raiz cuadrada del resultado: {}".format(round(math.sqrt(stats.mean(cuadrado)),3)))

datos = [0, 2, 4, 5, 8, 10, 10, 15, 38]

def media(valores):
    return sum(valores) / len(valores)

def varianza(valores):
    ans = []
    for valor in valores:
        ans.append(pow(valor - media(valores), 2))
    return media(ans)

def desviacionE(valores):
    return pow(varianza(valores), 0.5)
#Se imprimen los resultados
print('Media: ', media(datos))
print('Varianza: ', varianza(datos))
print('Desviacion: ',desviacionE(datos))

Varianza y Desviación Estándar

¡Espera pronto la actualización de este curso!

¡Espera pronto la actualización de este curso!

Introducción a Inteligencia Artificial

Conoce a tu profesora y la estructura del curso

¿Qué es Inteligencia Artificial?

Anatomía de la Inteligencia Artificial

Machine Learning

¿Qué es Machine Learning?

Probablidiad y Estadítica

Revisando Probabilidad y Estadística

Ejercicio escrito: Media, moda y mediana

Varianza y Desviación Estándar

Ejercicio escrito: Varianza y desviación estándar

Algoritmos

¿Qué son algoritmos?

Ejercicio escrito: Secuencia de Fibonacci

Regresión Lineal

Ejercicio escrito: Regresión Lineal

Regresión Logística

Regresión Logística Multinomial

Redes Neuronales

Ejercicio escrito: Compuerta Logica OR

Algoritmo K-Means

Deep Learning (Aprendizaje Profundo)

Problemas Frecuentes en Machine Learning

Ejercicio escrito: Underfitting y Overfitting

Construyendo un Modelo

Introducción a la construcción de un modelo en Machine Learning

Construyendo un modelo con Python y Tensor Flow

Sesión interactiva con Tensor Flow

Ejemplo gráfico con Microsoft Azure Machine Learning Studio

Cierre del curso

Consejos para aplicar Machine Learning

Contenido Bonus

¿Qué es Machine Learning e Inteligencia Artificial?

¿Qué es Deep Learning?