Recolectar datos, limpiar datos dormir con sus datos

Clase 16 de 30 • Curso de Big Data y Ciencia de Datos 2016

Clase anteriorSiguiente clase

Resumen

Debemos familiarizarnos con los datos, conocerlos y visualizarlos de las formas que sea necesario.

Esta etapa puede incluir:

Computar estadisticos sumarios
Crear visualizaciones
Visualizar la relación de una variable contra otra

Oscar Iyañez

student•

Me manda este error y ya intente darme de alta en app de twitter. alguien ha podido resolverlo

ImportError Traceback (most recent call last)
<ipython-input-25-2795fe823e4f> in <module>()
1 import os
2
----> 3 import tweepy
4 from tweepy import StreamListener
5

ImportError: No module named ‘tweepy’

Ricardo Azpeitia P.

student•

No tienes instalado tweepy revisa que tu virtualenv esta activo o que tweepy este instalado en tu entorno.

Alma Gimeno Sánchez

student•

Cómo lo compruebo?

Francisco Daniel Bazán Pérez

student•

Obtengo el siguiente error, alguna recomendacion?

Sorber del firehouse
streaming_api.filter(locations=COLOMBIA_GEO_LOCATION_BOUNDING_BOX)

ValueError: Only unicode objects are escapable. Got None of type <class ‘NoneType’>.

Ricardo Azpeitia P.

student•

No estas pasando las llaves necesarias.

Fernando López Velasco

student•

Disculpa, ¿a qué te refieres con que no se están pasando las llaves necesarias?. Como lo muestran en el ejemplo, pasamos los siguientes parámetros:

CONSUMER_KEY = os.getenv(cons_key)
CONSUMER_SECRET = os.getenv(cons_secret)
ACCESS_TOKEN = os.getenv(accs_tok)
ACCESS_TOKEN_SECRET = os.getenv(accs_tok_secret)

¿Falta alguno?

Rodrigo Gil Lopetegui

student•

para poder jugar un poco más con los datos y seleccionar en función de las ocurrencias alguna que nos parezca relevante:
buscar palabras más comunes

from collections import Counter
import operator
split = [tweet.split() for tweet in cleaned_tweets]
flatten = [word for tweet in split for word in tweet]
counter = Counter(flatten).most_common(50)
pprint(counter)```

Fernando López Velasco

student•

Obtengo el siguiente error:

ValueError: Only unicode objects are escapable. Got None of type <class ‘NoneType’>.

No he podido resolverlo a pesar de ya haber generado las llaves de la API de twitter.

Gustavo David Guillen Gutierrez

student•

CONSUMER_KEY = 'TWITTER_CONSUMER_KEY' CONSUMER_SECRET = 'TWITTER_CONSUMER_SECRET' ACCESS_TOKEN = ('TWITTER_ACCESS_TOKEN' ACCESS_TOKEN_SECRET = 'TWITTER_ACCESS_TOKEN_SECRET'

Gustavo David Guillen Gutierrez

student•

CONSUMER_KEY = 'TWITTER_CONSUMER_KEY'
CONSUMER_SECRET = 'TWITTER_CONSUMER_SECRET'
ACCESS_TOKEN = 'TWITTER_ACCESS_TOKEN'
ACCESS_TOKEN_SECRET = 'TWITTER_ACCESS_TOKEN_SECRET'

Carlos Oblitas Villegas

student•

Que distancias esta graficando en el histograma??, no entiendo a que se refiere con distancia… (en la parte final del video)

Ricardo Azpeitia P.

student•

El nombre la variable creo que lo explica muy bien:
distances_between_indices_of_tweets_containing_keyword.

Y si te fijas es la diferencia en los indices, del primero con el segundo, el segundo con el tercero, etc…

Kevin Andrés Cornejo Surichaqui

student•

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
<ipython-input-44-d7124d00b677> in <module>()
----> 1 cleaned_tweets = list(finite_stream_listener.tweets)
      2 
      3 for cleaning_function in [make_lowercase, remove_diacritics, remove_non_alpha_characters]:
      4     cleaned_tweets = [cleaning_function(tweet) for tweet in cleaned_tweets]

NameError: name 'finite_stream_listener' is not defined

Diego Forero

Team Platzi•

Puedes compartir tu código por favor, los errores que te dan es porque no estas definiendo la función o no la estas importando de forma correcta desde otro modulo.

Kevin Andrés Cornejo Surichaqui

student•

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
<ipython-input-49-ed99376acdde> in <module>()
----> 1 pprint(cleaned_tweets[:10])

NameError: name 'cleaned_tweets' is not defined

Diego Forero

Team Platzi•

Revisa que importes o definas las funciones, por favor comparte tu código para poder ayudarte.

David Alejandro Abreu Abreu

student•

Alguien podria explicar en detalle este segmento de condigo?

distances_between_indices_of_tweets_containing_keyword = [
    second_index - first_index for first_index, second_index in \
        zip(indices_of_tweets_containing_keyword[:-1], indices_of_tweets_containing_keyword[1:])
]

Maria Nelly Herrera Millan

student•

Ejecutando la primera parte del notebook (en la primera celda que corresponde a la importación de librerias me sale este error:
Traceback (most recent call last):

File “C:\Users\manel\Anaconda3\envs\curso\lib\site-packages\IPython\core[interactiveshell.py](http://interactiveshell.py)”, line 2961, in run_code
exec(code_obj, self.user_global_ns, self.user_ns)

File “<ipython-input-2-f2546ad59cf1>”, line 3, in <module>
import tweepy

File “C:\Users\manel\Anaconda3\envs\curso\lib\site-packages\tweepy_init_.py”, line 17, in <module>
from tweepy.streaming import Stream, StreamListener

File “C:\Users\manel\Anaconda3\envs\curso\lib\site-packages\tweepy[streaming.py](http://streaming.py)”, line 358
def _start(self, async):
^
SyntaxError: invalid syntax

David Alejandro Abreu Abreu

student•

Hola! Asegurate de haber instalado tweepy

lo haces desde la consola, asegurandote que estes en el entorno virtual con el comando pip install tweepy

o en el notebook con el comando !pip install tweepy y luego shif+enter

solivann

student•

En Jupyter no me esta mostrando las salidas en los print, alguien sabe que podría ser?

Diego Forero

Team Platzi•

Puedes compartir como lo estas haciendo, si te lanza algún error, con tan poca información es imposible ayudarte.

solivann

student•

Hola GOLLUM, mira así lo tengo pero después de pasar por el print no me esta mostrando nada.

Lucia Soledad Blanc

student•

Hola, en qué video se explica cómo obtener los datos de twitter? Gracias

Diego Forero

Team Platzi•

Hola en esta clase https://platzi.com/clases/data/concepto/workflow-de-un-data-scientist/workflow-tipico-de-un-data-scientist/material/ se inicia la parte de la recolección de datos usando el api de twitter.

Lucia Soledad Blanc

student•

Gracias!!!

Eva Bettina Acosta de Paula

student•

Hola, cuando intento seguir este paso me informa que pprint has been turned off…hay alguna alternativa para esta library?

Saludos y desde ya muchas gracias.

Ricardo Azpeitia P.

student•

Si estas en ipython puedes usar el comando magico %pprint para encender o apagar ese feature.

Recolectar datos, limpiar datos dormir con sus datos

Bienvenidos

Aprende sobre Big Data y Ciencia de Datos con los cursos actualizados

Bienvenido al curso

¿Qué es un Data Scientist?

Ejemplos de uso de Data Science

Cómo funciona una búsqueda de Google y el Algoritmo de Spotify

Retos de un data scientist

¿Porqué surge Data Science ahora y no antes?

¿En cuáles campos trabajan Data Scientists?

¿Cuáles habilidades y herramientas usamos?

Workflow de un Data Scientist

Introducción a Python

Guía de Jupyter

Configurando un NoteBook

Continuando con nuestro ejemplo

Flujo de trabajo de un Data Scientist

Workflow Típico de un Data Scientist

Recolectar datos, limpiar datos dormir con sus datos

Modelos de datos

Construir un modelo

Validar su modelo y predecir el futuro

Comunicar los resultados

Algebra Lineal para Data Science

Básicos de Probabilidad

Automatización en Data Science

Hacer que las máquinas hagan todo

Objetos del mundo real en el espacio vectorial y métricas de distancia

Ejemplo de espacio vectorial y métricas de distancia

Conclusiones

Cómo ser un data Scientist

Cierre del curso

Desafío 01

Desafío 02

Contenido complementario

¿Qué es big data y cuál es su papel en datascience?