Representando datasets con tensores

Clase 6 de 27 • Curso de Introducción a Machine Learning 2019

Resumen

En este clase continuaremos usando los tensores para representar e interpretar datos que vienen desde un archivo CSV sobre los jugadores de FIFA18.

Cristian Henao Rojas

student•

Dropna() método de pandas

los parametros que están en el vídeo son axis y how. axis recibe cómo parametro un 1 y un 0. 0 indica que se borrará la fila donde encontremos valores faltantes 1 se borrará la columna donde se encuentre un valor faltante.

how recibe cómo parametro ‘any’ y ‘all’ ‘any’ significa que si encuentra al menos una columna con dato faltante, la elimine (en este caso, lo que haría sería ver el parametro axis para ver que acción debe tomar) **‘all’ **significa que debe eliminar la fila donde todos sus datos estén vacíos.

además puede recibir otros parámetros.

Me confundí con eso un poco, entonces quise compartirlo, por si alguno tenía mi misma duda.

Método dropna() de la documentación oficial con ejemplos

Erick Herrera

student•

gracias

Luis Fernando Pedroza Taborda

student•

Excelente aprote Tholes, gracias.

Axel Jiménez

student•

Si quieren practicar más con datasets, en esta página hay una infinidad: https://www.dataquest.io/blog/free-datasets-for-projects/

Daniel Reyes Barrera

student•

Gracias amigo

- -

student•

++Thanks!!++

Christian Sanclemente

student•

El dim en PyTorch se llama axis en NumPy. dim=0 equivale a las filas, y dim=1 equivale a las columnas. Si tienen algo más que complementar dejen su comentario.

JERSON ALEXANDER SUAZA GALLEGO

student•

Dataset: https://raw.githubusercontent.com/amanthedorkknight/fifa18-all-player-statistics/master/2019/data.csv

Alberto Sánchez

student•

Gracias hombre

Usuario anónimo

user•

buenos días: me genera este error al cargar el data set: SyntaxError- EOL while scanning string literal. An EOL ( End of Line ) error indicates that the Python interpreter expected a particular character or set of characters to have occurred in a specific line of code, but that those characters were not found before the end of the line . como lo puedo solucionar gracias.

Cristian Henao Rojas

student•

Para los que cómo yo, tengan problemas en entender las dimensiones les recomiendo este articulo, ayuda a ver visualmente un poco mejor: Articulo

Diego Alejandro Medina López

student•

Muchísimas gracias por el articulo! no sabes cuanto me ayudó!

Cristian Arias Reyes

student•

muchas gracias, muy clarificador!

Usuario anónimo

user•

Cuidado: La normalización se entiende como dejar todos los valores entre 0 y 1. Lo que se hacce aqui es "normalizar" los valores a la raiz de la desviación, que es lo mismo que escalar todo, en decir, comparar la diferencia de la media con el valor real, con la desviación.

Miguel Angel Hernández Torres

student•

gracias por el comentario. muy buena aclaración.

Usuario anónimo

user•

Si gracias a lugar!

Usuario anónimo

user•

Profesor con todo el respeto, quiero hacer el siguiente comentario: Se ve que usted sabe muchísimo al respecto, pero debería tener un orden de desarrollo. Coge un tema y se devuelve, luego se adelanta un poco, y así nos perdemos. Recuerde que la mayoría somo algo novatos es este aprendizaje. El desarrollo de un temas debe ser muy organizado y ordenado ascendente. La pedagogía es muy importante para trasmitir conocimientos. Y veo que le falta esta partecita profesor. Disculpe usted.

Juan Camilo Alvarez Jurado

student•

Para este tipo de retroalimentación existe el botón "Reportar un problema" (justo bajo el video), en donde se puede enviar todo el detalle para la revisión y mejora de los cursos

Rodrigo Urquizo Yepez

student•

Los que nunca han visto programacion y de frente se meten a aprender IA es tiempo perdido, seria ideal que primero se conozca la logica de la programacion y un determinado lenguaje, en este caso: Python, para despues aplicarlos a otras cosas, como AI.

Usuario anónimo

user•

Hola, tengo una pregunta:

Al normalizar, en qué momento se está elevando al cuadrado la desviación estandar.

norm = (data - mean) / torch.sqrt(std)

Entiendo en esa expresión que se está hallando la raiz, pero no veo en que momento lo elevan al cuadrado. Si solo se toma la raiz habría que tener la varianza y no la desviación estandar, no?

Usuario anónimo

user•

Hola, para normalizar los datos es restar la media y dividir entre la desviación estándar (no entre la raíz de la desviación estándar como se hace en el vídeo) :) Gracias

Victor Macas

student•

En este ejemplo. Dice que el tensor es (2,2) y puede ir valores -2 a 1. ¿de dónde saca eso? ¿a qué se refiere?

David Alsina

student•

algunas abreviaciones con su significado para recordar:

torch.ge() --> ge = GreaterEqual (>=) torch.sta() --> std = STandardDeviation(desviación estándar) torch.mean() --> mean = media/promedio

(yo estoy haciendo este curso sin saber python, así que si ya se sabía por teoría yo me acabo de enterar por descubrimiento de lo siguiente, espero a alguien le resulte útil) :

en este caso me di cuenta de que los : significan desde:

target = players[:, 0]

lo que me está diciendo esa linea de arriba es que dentro del tensor players en la las filas empiece teniendo en cuenta desde la fila cero "players[:, 0]" y tenga en cuenta solo la columna 0 "players[:, 0]" lo notamos por la ausencia de los dos puntos, y al ponerlos en l google colab y mirar los cambios lo podemos entender

Usuario anónimo

user•

Más exactamente, players[:, 0] significa: Todas las filas y sólo la columna 0.

Puedes consultar sobre la notación slices de Python.

Christian Sanclemente

student•

Comentario tomado mas abajo, por usuario Tholes: dropna() método de pandas

how recibe cómo parametro ‘any’ y ‘all’ ‘any’ significa que si encuentra al menos una columna con dato faltante, la elimine (en este caso, lo que haría sería ver el parametro axis para ver que acción debe tomar) **‘all’ **significa que debe eliminar la fila donde todos sus datos estén vacíos.

Rodrigo Urquizo Yepez

student•

En la formula de distribucion normal (norm) que vi en wikipedia y otras fuentes, no se eleva la desviacion estandar al cuadrado o se saca la raiz cuadrada, me parece un poco raro, aparte se confundieron con la funcion sqrt. Aca hay una explicacion de la formula: https://www.youtube.com/watch?v=_gyrWRyh6Qg Porque elevarla al cuadrado?Si alguien me lo dice seria de gran ayuda

Christian Sanclemente

student•

Rodrigo, es cierto, estoy buscando por todo lado, intentando realmente comprender la razón por la cual eleva la desviación estándar al cuadrado, incluso en este vídeo no lo hacen, y es de machine learning. https://www.youtube.com/watch?v=H5-Gwg1UVtY

Usuario anónimo

user•

Hola, estoy de acuerdo, yo estudié estadística. La confusión del profe puede ser porque pudo haber confundido la desviación estándar con la varianza. Si hubiese sido la varianza si es válido sacar la raíz cuadrada.

johan Stever Rodriguez Molina

student•

Un par de métodos útiles dentro de pandas para saber desde el comienzo si tenemos datos nulos o na y algunas maneras de trabajar con estos datos los dejo aquí.

dataframe.isnull().any() nos indica si tenemos datos faltanes en aguna de las variables.
dataframe.fillna() o dataframe.replace() que nos sera de ayuda si lo que deseamos no es dar de baja esos valores con na sino cambiarlos o completarlos con otro valor, como la media de lso valores de la columna.

Usuario anónimo

user•

Se puede simplificar el print del final, en este caso no es necesario el enumerate:

for args in zip(columns, goodMean, averageMean, notSoGoodMean):
    print('{:25} {:6.2f} {:6.2f} {:6.2f}'.format(*args))

Arturo Baduna

student•

for i, args in enumerate(zip(columns, goodMean, averageMean, notSoGoodMean)):
  print('{:25} {:6.2f} {:6.2f} {:6.2f}'.format(*args))

no me quedoo nada claro e hice los cursos y los hice bien jeje

Usuario anónimo

user•

Hola de nuevo arturo, en ese print estas dando formato puedes ver mas en este link

https://www.geeksforgeeks.org/python-format-function/

Wilson Fernando Antury Torres

student•

Lo que hicimos en ésta clase:

Tener acceso a un dataset usando "import pandas as pd" (La librería pandas) para traerlo desde una url.
Manipular y hacer filtros de la información que deseamos analizar.
Podemos traer a nuevos tensores la información que nos interesa analizar.
Obtener promedios del set de datos completo o por dimensiones.
Segmentar las columnas en subsets para un análisis más profundo.
Funciones de las librerías torch, numpy, pandas.

Arturo Baduna

student•

graciasss

pablo calderon

student•

me parece que falta mas teroria en algunas cosas para entender bien lo que trata de decir.. por lo menos para mi que todos esto es nuevo

Danilo Toro

student•

Si intenta explicar cada cosa, el curso sería eterno, este curso pertenece a una carrera y este es el 6to curso. Siendo de nivel intermedio. Para entender mejor el curso, te recomiendo tomar los cursos previos.

Recuerda que no se puede aprender lo de secundaria sin aprobar la primaria ;) Saludos!

Sergio Said Alemán Martínez

student•

Tienes razón. Aún viendo los cursos anteriores no te enteras de nada; tienes que buscar la información fuera de Platzi.

Pablo Castillo

student•

Hice un test:

sqrt = torch.tensor([[4., -4.], [4., -4.]])
torch.sqrt(sqrt)

da:

tensor([[2., nan],
        [2., nan]])

La función sqrt no es el cuadrado, es la raíz cuadrada.

Juan Camilo Alfonso Mesquida

student•

Tienes razón, fue un error del profesor; sqrt (square root) se refiere a la raíz cuadrada.

Arturo Baduna

student•

muy buen descubrimiento te felicito

Fabricio Xavier Galárraga Pérez

student•

cómo sería para cargar una base de datos igual csv pero que la tenga guardada en mi computadora.??

Sergio Rubiano

student•

Hola Harry, puedes hacerlo mediante la librería pandas

import pandas as pd

df = pd.read_csv('mi_dataset.csv')

puedes cargar tu dataSet directamente desde tu unidad Drive o directamente subir el archivo

Rodrigo Urquizo Yepez

student•

Holaa, si te refieres a un gestor de base de datos, te recomiendo usar MySQL Workbench, al mostrarte la consulta, veras un boton parecido al boton de save donde al costado dice:export/import, en el boton dira:"export recordset to an external file", le das click ahi y guardas el archivo con la extension .csv,listo.Saber gestionar bases de datos es vital para hacer machine learning, es un skill muy demandado.Espero haber entendido tu pregunta y si no que te pueda servir de algo mi respuesta.

Representando datasets con tensores

Conceptos básicos de Machine Learning

Bienvenida Curso de Introducción a Machine Learning

Introducción a la terminología de Machine Learning

Terminología y regresión lineal

Trabajando con Pytorch

Introducción a Pytorch, trabajar con tensores y representar datasets con tensores

Trabajando con tensores

Representando datasets con tensores

Implementaciones de algoritmos de Machine Learning en Pytorch

Implementación de regresión lineal en Pytorch, Regresión logística, Implementación de regresión logística en Pytorch

Regresión logística

Implementación de regresión logística en Pytorch

Redes Neurales y reconocimiento de imágenes

Cómo funciona el reconocimiento facial

Neuronas y función de activación, Usando un modelo pre entrenado para reconocimiento de imágenes, Trabajando un dataset

Usando un modelo pre entrenado para reconocimiento de imágenes

Trabajando un dataset

Reconocimiento de imágenes

Construyendo un modelo, Implementando un clasificador totalmente conectado, Mejoras, limitaciones y conclusiones

Training and Loss: entrenando y ajustando nuestro modelo

Implementando un clasificador totalmente conectado

Mejoras, limitaciones y conclusiones

Collab con Scikit

Aprende a usar Collab con scikit

Demo con Scikit: división de datos

Demo con Scikit: validación de datos

Algoritmos más usados en Machine Learning

Los algoritmos más usados en Machine Learning

Algoritmos supervisados en Machine Learning

Algoritmos no supervisados en Machine Learning

Bonus: Redes neuronales y herramientas

Qué es lo que está detrás de una red neuronal

Cómo funciona una red convolucional intuitivamente y porque son tan buenas con imágenes

Redes generativas

Cierre

Conclusiones y siguientes pasos