Clase 25 de 30 • Curso de Big Data y Ciencia de Datos 2016
Contenido del curso
Carlos Ortegon
Ricardo Celis
Viviana Isabel Espinosa Peña
Luis Carlos Parra Raffán
Omar España
Adrian Peralta
Adrian Peralta
Brayam Mazuera Montenegro
Armando Aguilar L.
Rodrigo Gil Lopetegui
David Leonardo Acosta Laverde
Christian Andrés Navarrete Fuentes
Fredy Sebastian Rodriguez Rincon
Diego Forero
Gustavo Moreyra
David Toca
Gustavo Moreyra
Daniel Dante Cuevas Cuevas Cuevas
Ricardo Azpeitia P.
Francisco
Rodrigo Gil Lopetegui
Pedro Escobar
David Toca
Pedro Escobar
William Arevalo
Daniel Rojas
Armando Aguilar L.
Uriel Ramírez
Pedro Escobar
yersey xavier salcedo peña
Diego Forero
Kevin Moreno
Gabriel Loggia
Gabriel Loggia
Miguel Angel Mesa Salazar
Diego Forero
Rafael Mosquera
Gabriel Oliveira
asi es que deberia explicar matricez en las universidades, no con un cuaderno y una matriz de 2x2
totalmente de acuerdo!
si descargan el dataset desde el site que se encuentra en la sección de enlaces, para abrir los archivos txt en lugar de read_csv() utilicen la función:
<code>data = pd.read_table('dataset_ubicomp2013/dataset_ubicomp2013_checkins.txt', delim_whitespace=True,header=None,names=['user_id','venue_id'])
es mejor hacerlo con
data = pd.read_table(‘dataset_ubicomp2013_checkins.txt’, delim_whitespace=True,header=None,names=[‘user_id’,‘venue_id’])
para no tener problemas en el desarrollo de este ejercicio
Aun sin entender muy bien los principios de algebra lineal, esta es quizá la clase mejor explicada del curso, Will va paso a paso, trabajando con el codigo y explicando las implicaciones matematicas del codigo. Esto es mas entendible que las clases anteriores por que nos da algo que hacer y entendermos la escencia. Las clases anteriores eran frutrantes por que pareciera que no se decidia si explicar las matematicas, la teoria, o el codigo (que casi siempre se saltó).
si que en este video se explica de forma aplicada, que es la mejor en realidad; los anteriores videos fueron una perspectiva matemática principalmente, pero me parece que no realizó el match con el nombre de las tecnicas que estaba usando relacionadas a la ciencia de datos. por ejemplo “dormir con tus datos” es EDA en realidad, exploratory data analysis.
Lo bueno es que dió esta perspectiva más aplicada y con código, es más didáctica para nosotros los amantes del código.
aún me falta aprender, pero parece feature engineering la transformación que realiza.
Y la similaridad de jaccard podría ser como hacer shannon’s entropy para encontrar que tan ordenados tenemos un grupo de datos (juntos por ser similares, en un espacio lineal, como en una cola).
El link esta en un archivo tipo *.txt la forma de tratarlos con pandas mas optima que encontré fue:
El csv esta en este . link :
guarda que están en formato txt, en otra respuesta pusieron la función para usarlo
No es que haya cambiado las magnitudes, sólo cambió la estala cartesiana a una logarítmica, pero las magnitudes, es decir, los valores, son los mismos.
Como no está el archivo csv. Recuerden que con excel se pueden abrir los archivos txt y exportarlos como csv, así es más fácil seguir el ejercicio de @Will wolf. Saludos
Cuando quiero ver el valor de la división de len(intersection)/len(union) solo sale 0. Traté de imprimirlo de forma que me mostrara un float pero no encuentro como hacerlo correctamente. Alguien sabría como solucionar esto?
Qué versión de python usas? puedes intentar
float(len(intersection)) / len(union)
me pueden ayudar a obtener el dataset? porque voy al sitio pero mi antivirus indica que el sitio tiene malware…
Prueba el siguiente enlace:
gracias!
En Server B no hay el video respectivo
Yo si lo veo.
todos elegimos el reproductor del server B? funciona mejor no?
Qué complejas me resultaron las funciones jaccard_similarity y compute_pairwise_jaccard_similarities!
Recién estoy viendo los **dataFrames y series ** y hay mucha magia oscura ahí.
En vez de trabajar con la tabla esa no es mejor trabajar con los datos directamente pasando el query_venue_index al estilo
set(data[data.venue_id == 1031].user_id)
en la función por ejemplo? (el proceso seria igual, obtengo un dataFrame, luego un serie y lo convierto en set)
hay mucho aún por leer 😦
gracias por el curso! muy interesante jupyter y panda
¿Que hace ese " \ " de aquí?
checkins_matrix = data.reset_index()\ .pivot(index=...
No consigo información
Es simplemente para poder poner el codigo en dos lineas, debido a que la sentencia es bastante larga
Muchas gracias por responder.
Yo he entendido mas facil de este recurso en cuanto a la definicion, espero les sirva…
Indice de Jaccard
es importante recordar que cuando Will dibuja el histograma y aplica logaritmo, lo hace con el fin de ver los resultados proporcionalmentede esta forma se puede analizar mucho mejor el resultad.
De donde puedo tomar el ‘checkins.csv’ no esta en el zip =(
Muchas gracias por compartir. Lo agrego a enlaces
El índice de similitud de Jaccard (a veces denominado coeficiente de similitud de Jaccard ) compara a los miembros de dos conjuntos para ver qué miembros se comparten y cuáles son distintos. Es una medida de similitud para los dos conjuntos de datos, con un rango de 0% a 100%. Cuanto mayor es el porcentaje, más similares son las dos poblaciones. Aunque es fácil de interpretar, es extremadamente sensible al tamaño de muestras pequeñas y puede dar resultados erróneos, especialmente con muestras muy pequeñas o conjuntos de datos con observaciones faltantes.
Información más completa Aquí
Por favor alguien me podría hacer entender porque me sale este error al cargar un archivo csv diferente al ejemplo de Pokemon.csv
PK
0
UnicodeDecodeError Traceback (most recent call last)
pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._convert_tokens (pandas_libs\parsers.c:14858)()
pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._convert_with_dtype (pandas_libs\parsers.c:17119)()
pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._string_convert (pandas_libs\parsers.c:17347)()
pandas_libs\parsers.pyx in pandas._libs.parsers._string_box_utf8 (pandas_libs\parsers.c:23041)()
UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xf1 in position 19: invalid continuation byte
During handling of the above exception, another exception occurred:
UnicodeDecodeError Traceback (most recent call last)
<ipython-input-14-79ef9c50c200> in <module>()
----> 1 df=pd.read_csv(‘P.csv’)
~\Anaconda3\lib\site-packages\pandas\io\ in parser_f(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, squeeze, prefix, mangle_dupe_cols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, dayfirst, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, escapechar, comment, encoding, dialect, tupleize_cols, error_bad_lines, warn_bad_lines, skipfooter, skip_footer, doublequote, delim_whitespace, as_recarray, compact_ints, use_unsigned, low_memory, buffer_lines, memory_map, float_precision)
653 skip_blank_lines=skip_blank_lines)
654
–> 655 return _read(filepath_or_buffer, kwds)
656
657 parser_f.name = name
~\Anaconda3\lib\site-packages\pandas\io\ in _read(filepath_or_buffer, kwds)
409
410 try:
–> 411 data = parser.read(nrows)
412 finally:
413 parser.close()
~\Anaconda3\lib\site-packages\pandas\io\ in read(self, nrows)
980 raise ValueError(‘skipfooter not supported for iteration’)
981
–> 982 ret = self._engine.read(nrows)
983
984 if self.options.get(‘as_recarray’):
~\Anaconda3\lib\site-packages\pandas\io\ in read(self, nrows)
1717 def read(self, nrows=None):
1718 try:
-> 1719 data = self._reader.read(nrows)
1720 except StopIteration:
1721 if self._first_chunk:
pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader.read (pandas_libs\parsers.c:10862)()
pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._read_low_memory (pandas_libs\parsers.c:11138)()
pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._read_rows (pandas_libs\parsers.c:12175)()
pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._convert_column_data (pandas_libs\parsers.c:14136)()
pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._convert_tokens (pandas_libs\parsers.c:14972)()
pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._convert_with_dtype (pandas_libs\parsers.c:17119)()
pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._string_convert (pandas_libs\parsers.c:17347)()
pandas_libs\parsers.pyx in pandas._libs.parsers._string_box_utf8 (pandas_libs\parsers.c:23041)()
UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xf1 in position 19: invalid continuation byte
Estas intentando abrir un archivo que no esta guardado como utf-8 o tiene algún carácter extraño que no puede ser leído.
Puede que se quiera convertir a texto con str() o se quiera decodificar con utf-8 texto con caracteres especiales.
Hola, alguien tiene idea porque el comando head no me arroja el resultado ordenado en una grilla ??
< 35443 899 0 24973\t42406 1 14860\t177 2 222505\t177 3 63524\t609 4 51957\t435580code>
Solucionado, al guardar el archivo como csv, lo estaba haciendo con ; . Por eso no lo reconocía bien, edite el archivo y reemplace por “,” y se mostró correctamente
Según la similaridad de jaccard, ¿Cual es el punto de igualdad, 0 o 1?
Si es similar es 1, si no es similar es 0
Hola GOLLUM23 (Diego Alexander Forero Higuera)
Deseo aplicar Big Data a nivel de producción legislativa en Colombia durante los últimos 20 años ¿Cómo puedo hacerlo según lo aprendido en este curso?
Will o Team Platzi solicito su ayuda por favor.
El mejor video del curso!
