Construir un modelo

Clase 18 de 30 • Curso de Big Data y Ciencia de Datos 2016

Clase anteriorSiguiente clase

Resumen

La probabilidad de un número que vive de 0 hasta 1

Beta distribution, es cuantificar la incertidumbre de ser la probabilidad subyacente verdadera.

Visualizamos una tupla, el primero es el valor X y el segundo el valor Y

rusbel bermúdez rivera

student•

Hubiese preferido la clase en ingles, o en su defecto ingles con subtitulos, no es de los mejores cursos

Gabriel Oliveira

student•

Mis dudas aquí mas allá de las funciones de las librerías o del gráfico o de las matemáticas propiamente, son cuando se definen los parámetros de beta distribution para el ejemplo de los tweets.

¿Que representan alpha y beta para este ejemplo, es decir que rango queremos tomar para ambos?
¿Porque se le suma 1 al numero de ocurrencias para generar alpha y porque se hace lo mismo con beta?
¿ Que significan -para el ejemplo de los tweets- las distintas curvas y los distintos betas generados cada uno con un alpha y beta distintos, y como se generaron? (la leyenda en la parte superior derecha del gráfico.
A que hace referencia pdf y cdf?

son dudas mas que de probabilidad , matemáticas, estadistica o de la liberia matpltolib, del propio ejercicio que hemos venido haciendo.

Me ha parecido muy bueno el curso pero creo que en esta clase quedaron varios huecos de explicación, de como fue que pasamos de los datos de los tweets obtenidos (numero de ocurrencias de la palabra y numero de tweets) al gráfico de probabilidades, como estos datos se convirtieron en alpha y beta y como se genero el primer gráfico con ellos

Carlos Nexans

student•

La distribución beta te da una familia de distribuciones probabilísticas dado dos parámetros alfa y beta. Estos parámetros los escoges, son arbitrarios mientras te sirvan para lo que quieres estudiar.

Los parámetros alfa y beta deben ser mayores que cero.
Si la palabra “yo” nunca ocurre, entonces sumamos 1, para que el parámetro alfa sea entonces mayor que cero.
Si la palabra “yo” aparece en todos los tweets, entonces sumamos 1 para que beta sea también mayor que cero.

La distribución beta habla de cuales son las probabilidades para el porcentaje de ocurrencias.

Ahora bien, yo creo, que él escoge los valores alfa y beta de tal manera que:

`a := 1 + ocurrencias
b := 1 + tweets - ocurrencias

a / ( a + b) = (1 + ocurrencias) / (1 + tweets)`

Supongamos que el numero de tweets crece indefinidamente, si despejamos un poco la ecuación, tenemos que el término de la izquierda se hace de un tamaño insignificante.

1/(1 + tweets) + ocurrencias/(1 + tweets) ~ ocurrencias/(1 + tweets)

Y en general, podríamos aproximar que, si nuestra data se compone por millones de tweets, el 1 se vuelve prácticamente insignificante y por otro lado, el numero de ocurrencias siempre es una fracción de los tweets.

Entonces la cuenta nos queda

probabilidad_de_ocurrencias * tweets / tweets = probabilidad_de_ocurrencias

Carlos Nexans

student•

Este artículo me pareció muy interesante y relacionado con el vídeo https://stats.stackexchange.com/questions/47771/what-is-the-intuition-behind-beta-distribution

Alex Miguel Mena Vasquez

student•

Me parece el curso está mal estructurado y la explicación es muy pobre

Maria Nelly Herrera Millan

student•

Me parece que la explicación de la interpretación de los resultados de la distribución beta que aplico no es claro, por ejemplo:
Por qué eligió esta distribución?
Por qué eligio los diversos valores de alfa y beta que aparentemente tomó para cada gráfico?
Qué es lo que realmente nos dice el conjunto de los gráficos de la distribución?

jose roman alonso antoranz

student•

La Distribución Beta es muy flexible y es comúnmente usada para representar variabilidad sobre un rango fijo.

En esta clase, la Distribución Beta se usa para representar la incertidumbre en la probabilidad de ocurrencia de un evento.

Se usa para describir datos empíricos y predecir el comportamiento aleatorio, el rango de resultados es típicamente entre 0 y 1.

El valor de la Distribución Beta reside en la amplia variedad de formas que puede asumir cuando usted varía los dos parámetros, alfa y beta.

Si los parámetros son iguales, la Distribución Beta es Simétrica.

Si cualquiera de los dos parámetros es 1, y el otro parámetro es más grande que 1, entonces la distribución es triangular o en forma de “J”.

Si alfa es menor que beta, entonces se dice que la distribución es positivamente desviada, o positivamente asimétrica, lo que implica que la mayoría de los valores están cerca del valor mínimo.

Por otro lado, si alfa es más grande que beta, entonces se dice que la distribución es negativamente desviada, o negativamente asimétrica, lo que implica que la mayoría de los valores están cerca del valor máximo.

Edgar Moises Valdez Faria

student•

Necesitamos estudiar estadísticas, en esta clase me di cuenta de ello.
Sería bueno que Platzi incluya un curso de matemáticas y estadísticas para que esto no sea una caja negra para nosotros y podemos ser mejores profesionales

Juan Jose Aparicio Aparicio

student•

yo te recomiendo estudiar matematicas, son muy buenos y especificos en lo que son ciencias exactas a mi que no tengo estudios universitarios me ayudo mucho, esto junto a platzi es un combo completo.
https://es.khanacademy.org/math/probability

Edgar Moises Valdez Faria

student•

Gracias por tu aporte. Le estaré tirando una mirada

Diego Mendez

student•

Pregunta 😃 cuando estas en un proyecto de esta magnitud. Quien te provee los dataframes en los cuales crearas tus modelos, entrenaras etc. asi tambien cual es la mejor forma de inyectarlos/agregarlos a un proyecto? Gracias de antemano a los superheroes sin capa!!! Xd

Jesús Maximiliano Manchuk

student•

Tengo exactamente la misma duda.

john fredy quimbaya orozco

student•

las estadísticas son prescindibles para este tipo de cursos 😃

JAVIER ENRIQUE CHARRIS MOLINA

student•

La estadística siempre ha sido fundamental para el desarrollo de aplicaciones es un opinión personal.

Iván Sabido

student•

de deonde obtiene o por que pone 1002 en

x_values = np.linspace(0, 1, 1002)[1:-1]. Podrían poner mas material de estadística por ejemplo de la distribución beta? saludos

Dante Rodrigo Méndez Pérez

student•

¿Sabías qué existe google?

Iván Sabido

student•

y eso que importa? se debe contar con material de apoyo para llevar de una mejor forma el curso dentro de la plataforma. Si no vas a aportar nada simplemente abstente de responder.

Victor Daniel Aguirre Gil

student•

La distribución beta suele utilizarse para modelar eventos que se definen por valos mínimos y máximos con variables aleatorias entre 0 y 1. La escala de ésta distribución suele modificarse para modelar el tiempo hasta la culminación de una tarea. También se usa en estadísticas bayesianas, por ejemplo, como la distribución de valores previos de una probabilidad binomial.

Sebastian Castillo

student•

Asi como utiliza distribucion beta, se puede utilizar distribucion uniforme o triangular

David Leonardo Acosta Laverde

student•

Creo que hubiese sido más fácil de entender la clase si la hubieses dado en inglés, pero gracias 😄

Gustavo David Guillen Gutierrez

student•

Pienso lo mismo, creo que fue un error que un gringo de una clase en español.

Pedro Escobar

student•

Que buen curso, hasta este punto ha sido de mucha utilidad, esta clase fue muy buena, solo me perdí un poco en la lectura de los gráficos, aunque no debe ser tan complicado aprender a leerlos, buscaré la forma de aprenderlo, excelente clase.

Rafael Mosquera

student•

Si bien el curso es bueno, considero que esta clase está muy larga y terminas somnoliento.
Además, tienes la sensación que debes realizar los cursos de matemáticas.
(Menudo reto para mí, que soy Politólogo, apenas estoy aprendiendo sobre tecnología y primera vez que tomo un curso sobre Big Data)
¡Will Wolf y Team Platzi solicitó su ayuda!

Rafael Hernández Serrato

student•

Si pudieras dividir los videos para que no pasen de 7 u 8 minutos sería excelente, en mi caso aprovecho al finalizar mi trabajo del día para tomar los cursos de platzi, por lo que mucho tiempo escuchando un video termina por dormirme jaja

Esteban Ponce de León

student•

Cuál es la diferencia entre:

x_values = numpy.linspace(0, 1, 1002)[1:-1]

x_values = numpy.linspace(0, 1, 1000)?

Ambos adquieren mil valores.

len(x_values) == 1000

Isabel Muñoz

student•

Simplemente estás quitando los valores 0 y 1 que no se pueden tomar

Construir un modelo

Bienvenidos

Aprende sobre Big Data y Ciencia de Datos con los cursos actualizados

Bienvenido al curso

¿Qué es un Data Scientist?

Ejemplos de uso de Data Science

Cómo funciona una búsqueda de Google y el Algoritmo de Spotify

Retos de un data scientist

¿Porqué surge Data Science ahora y no antes?

¿En cuáles campos trabajan Data Scientists?

¿Cuáles habilidades y herramientas usamos?

Workflow de un Data Scientist

Introducción a Python

Guía de Jupyter

Configurando un NoteBook

Continuando con nuestro ejemplo

Flujo de trabajo de un Data Scientist

Workflow Típico de un Data Scientist

Recolectar datos, limpiar datos dormir con sus datos

Modelos de datos

Construir un modelo

Validar su modelo y predecir el futuro

Comunicar los resultados

Algebra Lineal para Data Science

Básicos de Probabilidad

Automatización en Data Science

Hacer que las máquinas hagan todo

Objetos del mundo real en el espacio vectorial y métricas de distancia

Ejemplo de espacio vectorial y métricas de distancia

Conclusiones

Cómo ser un data Scientist

Cierre del curso

Desafío 01

Desafío 02

Contenido complementario

¿Qué es big data y cuál es su papel en datascience?