Ejemplo de espacio vectorial y métricas de distancia

Clase 25 de 30 • Curso de Big Data y Ciencia de Datos 2016

Carlos Ortegon

student•

asi es que deberia explicar matricez en las universidades, no con un cuaderno y una matriz de 2x2

Ricardo Celis

teacher•

totalmente de acuerdo!

Viviana Isabel Espinosa Peña

student•

si descargan el dataset desde el site que se encuentra en la sección de enlaces, para abrir los archivos txt en lugar de read_csv() utilicen la función:

<code>data = pd.read_table('dataset_ubicomp2013/dataset_ubicomp2013_checkins.txt', delim_whitespace=True,header=None,names=['user_id','venue_id'])

Luis Carlos Parra Raffán

student•

es mejor hacerlo con

data = pd.read_table(‘dataset_ubicomp2013_checkins.txt’, delim_whitespace=True,header=None,names=[‘user_id’,‘venue_id’])

para no tener problemas en el desarrollo de este ejercicio

Omar España

student•

Aun sin entender muy bien los principios de algebra lineal, esta es quizá la clase mejor explicada del curso, Will va paso a paso, trabajando con el codigo y explicando las implicaciones matematicas del codigo. Esto es mas entendible que las clases anteriores por que nos da algo que hacer y entendermos la escencia. Las clases anteriores eran frutrantes por que pareciera que no se decidia si explicar las matematicas, la teoria, o el codigo (que casi siempre se saltó).

Adrian Peralta

student•

si que en este video se explica de forma aplicada, que es la mejor en realidad; los anteriores videos fueron una perspectiva matemática principalmente, pero me parece que no realizó el match con el nombre de las tecnicas que estaba usando relacionadas a la ciencia de datos. por ejemplo “dormir con tus datos” es EDA en realidad, exploratory data analysis.
Lo bueno es que dió esta perspectiva más aplicada y con código, es más didáctica para nosotros los amantes del código.

Adrian Peralta

student•

aún me falta aprender, pero parece feature engineering la transformación que realiza.
Y la similaridad de jaccard podría ser como hacer shannon’s entropy para encontrar que tan ordenados tenemos un grupo de datos (juntos por ser similares, en un espacio lineal, como en una cola).

Brayam Mazuera Montenegro

student•

El link esta en un archivo tipo *.txt la forma de tratarlos con pandas mas optima que encontré fue:

Armando Aguilar L.

student•

El csv esta en este . link :

Rodrigo Gil Lopetegui

student•

guarda que están en formato txt, en otra respuesta pusieron la función para usarlo

David Leonardo Acosta Laverde

student•

No es que haya cambiado las magnitudes, sólo cambió la estala cartesiana a una logarítmica, pero las magnitudes, es decir, los valores, son los mismos.

Christian Andrés Navarrete Fuentes

student•

Como no está el archivo csv. Recuerden que con excel se pueden abrir los archivos txt y exportarlos como csv, así es más fácil seguir el ejercicio de @Will wolf. Saludos

Fredy Sebastian Rodriguez Rincon

student•

Cuando quiero ver el valor de la división de len(intersection)/len(union) solo sale 0. Traté de imprimirlo de forma que me mostrara un float pero no encuentro como hacerlo correctamente. Alguien sabría como solucionar esto?

Diego Forero

Team Platzi•

Qué versión de python usas? puedes intentar

float(len(intersection)) / len(union)

Gustavo Moreyra

student•

me pueden ayudar a obtener el dataset? porque voy al sitio pero mi antivirus indica que el sitio tiene malware…

David Toca

student•

Prueba el siguiente enlace:

Gustavo Moreyra

student•

gracias!

Daniel Dante Cuevas Cuevas Cuevas

student•

En Server B no hay el video respectivo

Ricardo Azpeitia P.

student•

Yo si lo veo.

Francisco

student•

todos elegimos el reproductor del server B? funciona mejor no?

Rodrigo Gil Lopetegui

student•

Qué complejas me resultaron las funciones jaccard_similarity y compute_pairwise_jaccard_similarities!
Recién estoy viendo los **dataFrames y series ** y hay mucha magia oscura ahí.
En vez de trabajar con la tabla esa no es mejor trabajar con los datos directamente pasando el query_venue_index al estilo
set(data[data.venue_id == 1031].user_id)
en la función por ejemplo? (el proceso seria igual, obtengo un dataFrame, luego un serie y lo convierto en set)
hay mucho aún por leer 😦
gracias por el curso! muy interesante jupyter y panda

Pedro Escobar

student•

¿Que hace ese " \ " de aquí?

checkins_matrix = data.reset_index()\
    .pivot(index=...

No consigo información

David Toca

student•

Es simplemente para poder poner el codigo en dos lineas, debido a que la sentencia es bastante larga

Pedro Escobar

student•

Muchas gracias por responder.

William Arevalo

student•

Yo he entendido mas facil de este recurso en cuanto a la definicion, espero les sirva…
Indice de Jaccard

Daniel Rojas

student•

es importante recordar que cuando Will dibuja el histograma y aplica logaritmo, lo hace con el fin de ver los resultados proporcionalmentede esta forma se puede analizar mucho mejor el resultad.

Armando Aguilar L.

student•

De donde puedo tomar el ‘checkins.csv’ no esta en el zip =(

Uriel Ramírez

student•

Muchas gracias por compartir. Lo agrego a enlaces

Pedro Escobar

student•

El índice de similitud de Jaccard (a veces denominado coeficiente de similitud de Jaccard ) compara a los miembros de dos conjuntos para ver qué miembros se comparten y cuáles son distintos. Es una medida de similitud para los dos conjuntos de datos, con un rango de 0% a 100%. Cuanto mayor es el porcentaje, más similares son las dos poblaciones. Aunque es fácil de interpretar, es extremadamente sensible al tamaño de muestras pequeñas y puede dar resultados erróneos, especialmente con muestras muy pequeñas o conjuntos de datos con observaciones faltantes.

Información más completa Aquí

yersey xavier salcedo peña

student•

Por favor alguien me podría hacer entender porque me sale este error al cargar un archivo csv diferente al ejemplo de Pokemon.csv

me carga bien pero me sale esto cuando dígito datos.head()

PK
0

no puedo cargar un archivo diferente al ejemplo Pokemon.csv, me sale todo este error.

UnicodeDecodeError Traceback (most recent call last)
pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._convert_tokens (pandas_libs\parsers.c:14858)()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._convert_with_dtype (pandas_libs\parsers.c:17119)()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._string_convert (pandas_libs\parsers.c:17347)()

pandas_libs\parsers.pyx in pandas._libs.parsers._string_box_utf8 (pandas_libs\parsers.c:23041)()

UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xf1 in position 19: invalid continuation byte

During handling of the above exception, another exception occurred:

UnicodeDecodeError Traceback (most recent call last)
<ipython-input-14-79ef9c50c200> in <module>()
----> 1 df=pd.read_csv(‘P.csv’)

~\Anaconda3\lib\site-packages\pandas\io\ in parser_f(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, squeeze, prefix, mangle_dupe_cols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, dayfirst, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, escapechar, comment, encoding, dialect, tupleize_cols, error_bad_lines, warn_bad_lines, skipfooter, skip_footer, doublequote, delim_whitespace, as_recarray, compact_ints, use_unsigned, low_memory, buffer_lines, memory_map, float_precision)
653 skip_blank_lines=skip_blank_lines)
654
–> 655 return _read(filepath_or_buffer, kwds)
656
657 parser_f.name = name

~\Anaconda3\lib\site-packages\pandas\io\ in _read(filepath_or_buffer, kwds)
409
410 try:
–> 411 data = parser.read(nrows)
412 finally:
413 parser.close()

~\Anaconda3\lib\site-packages\pandas\io\ in read(self, nrows)
980 raise ValueError(‘skipfooter not supported for iteration’)
981
–> 982 ret = self._engine.read(nrows)
983
984 if self.options.get(‘as_recarray’):

~\Anaconda3\lib\site-packages\pandas\io\ in read(self, nrows)
1717 def read(self, nrows=None):
1718 try:
-> 1719 data = self._reader.read(nrows)
1720 except StopIteration:
1721 if self._first_chunk:

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader.read (pandas_libs\parsers.c:10862)()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._read_low_memory (pandas_libs\parsers.c:11138)()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._read_rows (pandas_libs\parsers.c:12175)()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._convert_column_data (pandas_libs\parsers.c:14136)()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._convert_tokens (pandas_libs\parsers.c:14972)()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._convert_with_dtype (pandas_libs\parsers.c:17119)()

pandas_libs\parsers.pyx in pandas._libs.parsers.TextReader._string_convert (pandas_libs\parsers.c:17347)()

pandas_libs\parsers.pyx in pandas._libs.parsers._string_box_utf8 (pandas_libs\parsers.c:23041)()

UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xf1 in position 19: invalid continuation byte

Diego Forero

Team Platzi•

Estas intentando abrir un archivo que no esta guardado como utf-8 o tiene algún carácter extraño que no puede ser leído.

Kevin Moreno

student•

Puede que se quiera convertir a texto con str() o se quiera decodificar con utf-8 texto con caracteres especiales.

Gabriel Loggia

student•

Hola, alguien tiene idea porque el comando head no me arroja el resultado ordenado en una grilla ??

<	35443	899
0	24973\t42406
1	14860\t177
2	222505\t177
3	63524\t609
4	51957\t435580code>

Gabriel Loggia

student•

Solucionado, al guardar el archivo como csv, lo estaba haciendo con ; . Por eso no lo reconocía bien, edite el archivo y reemplace por “,” y se mostró correctamente

Miguel Angel Mesa Salazar

student•

Según la similaridad de jaccard, ¿Cual es el punto de igualdad, 0 o 1?

Diego Forero

Team Platzi•

Si es similar es 1, si no es similar es 0

Rafael Mosquera

student•

Hola GOLLUM23 (Diego Alexander Forero Higuera)
Deseo aplicar Big Data a nivel de producción legislativa en Colombia durante los últimos 20 años ¿Cómo puedo hacerlo según lo aprendido en este curso?

Will o Team Platzi solicito su ayuda por favor.

Gabriel Oliveira

student•

El mejor video del curso!

Ejemplo de espacio vectorial y métricas de distancia

Bienvenidos

Aprende sobre Big Data y Ciencia de Datos con los cursos actualizados

Bienvenido al curso

¿Qué es un Data Scientist?

Ejemplos de uso de Data Science

Cómo funciona una búsqueda de Google y el Algoritmo de Spotify

Retos de un data scientist

¿Porqué surge Data Science ahora y no antes?

¿En cuáles campos trabajan Data Scientists?

¿Cuáles habilidades y herramientas usamos?

Workflow de un Data Scientist

Introducción a Python

Guía de Jupyter

Configurando un NoteBook

Continuando con nuestro ejemplo

Flujo de trabajo de un Data Scientist

Workflow Típico de un Data Scientist

Recolectar datos, limpiar datos dormir con sus datos

Modelos de datos

Construir un modelo

Validar su modelo y predecir el futuro

Comunicar los resultados

Algebra Lineal para Data Science

Básicos de Probabilidad

Automatización en Data Science

Hacer que las máquinas hagan todo

Objetos del mundo real en el espacio vectorial y métricas de distancia

Ejemplo de espacio vectorial y métricas de distancia

Conclusiones

Cómo ser un data Scientist

Cierre del curso

Desafío 01

Desafío 02

Contenido complementario

¿Qué es big data y cuál es su papel en datascience?