Limpiar los datos

Clase 14 de 32 • Curso de Machine Learning Aplicado con Python

Contenido del curso

Introducción al curso

1
Introducción al curso de Machine Learning Aplicado con Python
00:56 min

Cómo definir un problema de Machine Learning

El ciclo de ingeniería de Machine Learning

6
El ciclo de Machine Learning
07:33 min

Montar un ambiente de trabajo Pydata

Preparación de los datos

Modelación y evaluación

Feature Engineering

Modelos y Evaluación más avanzada

Tomar examen

Comentarios

Usuario anónimo

user•

Por favor revisen, las columnas del nuevo data frame, porque me dí cuenta que la columna 'movie_title' se repite varias veces en movies_num:

Así que para eliminar columnas duplicadas (junto con sus datos), se usa:

movies_num = movies_num.loc[:,~movies_num.columns.duplicated()]

Carlos Daniel Pimentel Díaz

student•

Gracias compañero. Buen aporte.

Loren Johanna Vásquez Rivera

student•

Muchísimas gracias, muy buen aporte.

Usuario anónimo

user•

para leer el archivo thenumbers.csv utilice

pd.read_csv('https://github.com/JuanPabloMF/datasets-platzi-course/blob/master/datasets/thenumbers.csv?raw=true', encoding='utf-8')

Marcos Suarez Realpe

student•

Gracias !

Daniela Herreño Contreras

student•

Qué significa ?raw=true?

Nallely House

student•

hay valores duplicados los cuales nunca se tratan.

movies_v2.duplicated(['movie_title'],keep=False).value_counts()
#valores repetidos

False    4298
True       87
dtype: int64
#dataframe.drop_duplicates() devuelve un dataframe nuevo por eso hay que asignarlo a una nueva variable.
movies_v3 = movies_v2.drop_duplicates(subset='movie_title')
movies_v3.shape
(4341, 11)

Juan José Mamani Tarqui

student•

No hay valores duplicados, lo que pasa es que guardas varias veces ctrl+s

HERNAN DARIO VELASQUEZ ORTIZ

student•

Muy bien todo hasta aquí, tuve problemas en el momento de hacer el merge, esto debido a que habia ejecutado dos veces el concat, y por cada ejecución me creaba una columna 'movie_title', la solución es ejecutar todo desde donde se crea el movies_num.

Carlos Eduardo Buriticá Ardila

student•

Exactamente me pasó lo mismo y como todos los ejercicios los estoy haciendo en un mismo libro de Collab, entonces al abrirlo empiezo a ejecutar las instrucciones una a una desde el principio.

Joseph Humberto Cueva

student•

Me paso lo mismo, con esta linea de código pueden eliminar los datos duplicados de movies_num

movies_num = movies_num.loc[:,~movies_num.columns.duplicated()]```

Jean Paul

teacher•

Aquí les dejo los datasets:

Datasets del curso

Juan Jose Sepulveda Calderon

student•

Perfecto, no los encontraba.

Santiago Matallana

student•

Gracias, estaba buscándolos.

Paola Castrillon

student•

Para los que se les dificulte encontrar el archivo , lo pueden sacar de aquí :

https://github.com/JuanPabloMF/datasets-platzi-course/tree/master/datasets

(Me pasó) ...

Kelyn Rosely Botina Trujillo

student•

Antes de realizar el merge entre los dataframes eliminé los elementos duplicados en movies_num, así tras combinarlo con financials se obtiene un movies_num de igual longitud: 4341. Por si a alguien le es de utilidad, les comparto el código implementado

Para realizarlo me basé en https://www.analyticslane.com/2018/06/20/eliminar-registros-duplicados-en-pandas/

Juan Valentin Perdomo Bonilla

student•

muy buen aporte, gracias!

Geovany Uribe Aguirre

student•

¿Por qué si financials tenía 4341, al hacer el join izquierdo terminamos con 4385? ¿De dónde salen los 44 extra?

Yeiner Leon Roldan

student•

cuantos registro hay en la tabla iuzquierda y cuantos en la derecha?

Mateo Sepúlveda Olaya

student•

Respuesta basada en el comentario de la compañera @Kelyn Rosely Botina Trujillo, hace 6 meses.

Esto sucede porque 'movies_num' tiene registros duplicados. Si los eliminas antes de hacer el merge, con las líneas

movies_num = movies_num.drop.duplicates()
movies_num = movies_num.drop.duplicates(['movie_title'], keep = 'last')

y luego haces el merge, verás que 'movies_v2' tendrá 4341 registros.

Jose Daniel Delgado Ballen

student•

Para borrar una columna movies_num.drop(["movie_title"],axis=1) movies_num

Usuario anónimo

user•

La segunda importación se hace con este comando:

gross_opening = pd.read_csv('https://github.com/JuanPabloMF/datasets-platzi-course/raw/master/datasets/opening_df.csv', encoding='utf-8')

Sebastian Pinto Lopez

student•

para los que esten trabajando en el cloud, este es link para que o copien y peguen dentro de pd.read_csv

https://raw.githubusercontent.com/JuanPabloMF/datasets-platzi-course/master/datasets/thenumbers.csv

Dina Luz Silva Villalba

student•

Gracias!

Gustavo Fernando Negrete Arteaga

student•

Excelente, muchas gracias

Usuario anónimo

user•

Para importar los datos en esta clase seria el siguiente comando desde google colab

financials = pd.read_csv('https://github.com/JuanPabloMF/datasets-platzi-course/raw/master/datasets/thenumbers.csv', encoding='utf-8')

Erika Julieth Corzo Quintero

student•

¿En python no es posible visualizar una bases completa? como estilo excel o stata? Creo que es importante poder observar toda la base completa para entender con qué datos se esta trabajando y ver los cambios que se le están haciendo a toda la base.

Juan Sebastián Daza Vanegas

student•

Cuando corrimos financials.shape nos botó (4341, 3). Después de hacer el merge con movies_num, deberíamos obtener un shape de (4341, 11). A mí me corrió así, pero al tutor le ejecutó un (4385, 11). ¿Hubo un error involuntario por parte del tutor? De lo contrario, ¿por qué razón obtener un tamaño de líneas de 4385?

Diego Forero

Team Platzi•

Probablemente la base de datos cambio desde el momento del curso al este momento y por eso cambio un poco el número de registros.

Oscar Pelaez Cardona

student•

Es porque en la base de datos original hay filas repetidas.

Adrian Gutierrez Ramirez

student•

Se debe tener mucho cuidado al hacer los concat y los merge, corri 2 veces la misma linea de codigo y se me crearon 2 columnas con el mismo nombre que no me permitia hacer correctamente el merge. Buena clase.

Daniel Morales

student•

Yo creo que por logica quedaba mejor eliminar las 6 peliculas del dataframe original (desfasado en gross por las extranjeras) que 700 peliculas con el join. Pues, digo yo

Ivan Triviño

student•

Eso sería lo ideal en un escenario real, pero en un escenario educativo es bueno mostrar las formas menos intuitivas de hacer las cosas para dar a conocer a los estudiantes diferentes maneras de solucionar un problema.

Luis Rogelio Reyes Hernandez

student•

Tambien hay que considerar el precio en monedas extranjeras lo cual es un error que solo es corregible en la lectura de datos y si esos son los datos que te dan para trabajar hacer esto es una solución mejor y mas segura

Mariana Montoya Naranjo

student•

En este link pueden encontrar más información sobre la función merge.

Usuario anónimo

user•

Como hago para ver los DataFrame completos??

Usuario anónimo

user•

Generalmente solo se muestran las primeras y las ultimas filas, dependiendo del editor que estés usando hay opciones para ver los dataframes en forma de tabla de datos mediante extensiones. Otra opción es exportar el dataframe en formato .csv a tu máquina y abrirlo con el excel que uses

Jaiver Giraldo Amaya

student•

Pensaría uno que en una plataforma como esta habría mucho más acompañamiento de parte de los profesores, como es posible que alguien haga una pregunta y después de 8 días no exista respuesta de parte de quienes imparten el conocimiento.

Roger Carlos Ariel Alba

student•

Hola jgiraldo,

Gracias por tu feedback.

¿Nos podrías compartir tu duda de nuevo? (me la puedes enlazar aquí por favor)

Quedamos pendientes.

Jaiver Giraldo Amaya

student•

Básicamente he ejecutado el mismo código del profesor y todo me funcionó perfecto hasta que llegamos a la función merge, deja de mostrarme los datos de Movies_num, me muestra NaN en cada espacio, los datos de movie_title, production_budget y worldwide_gross si me aparecen.

# -*- coding: utf-8 -*-

import numpy as np
import pandas as pd
import matplotlib.pyplot as pl
import seaborn as sb

%matplotlib inline

movies = pd.read_csv(r'C:\Users\jga\machine-learning-platzi\EJERCICIO_PROBLEMA\datasets\peliculas.csv',encoding='utf-8')

type(movies)

movies.head()

movies.shape

movies.columns

movies.index

columna1 = movies['movie_title']
columna1.head()

columna1

linea = movies.loc[10,:]
linea

movies.loc[:,'movie_title'].head()

movies.info()

movies.dtypes

type(movies.dtypes) 

movies.dtypes == float

movies.dtypes == int

(movies.dtypes == float) | (movies.dtypes == int)

movies.dtypes == object

num = (movies.dtypes == float) | (movies.dtypes == int)
num

num.index

for i in num:
    print(i)

for i in num.index:
    print(i)

num_cols = [c for c in num.index if num[c]] 
num_cols

obj = (movies.dtypes == object)
obj_cols = [c for c in obj.index if obj[c]]
obj_cols

num_cols

movies[num_cols] 

movies_num = movies[num_cols]

movies_num.describe()

movies_num['duration'].hist()

movies_num['imdb_score'].hist()

movies_num['budget'].hist()

movies_num['budget']>1e9

(movies_num['budget']>1e9).value_counts()

mask = (movies_num['budget']>1e9)

movies[mask]

pd.read_csv(r'C:\Users\jga\machine-learning-platzi\EJERCICIO_PROBLEMA\datasets\thenumbers.csv')

financials = pd.read_csv(r'C:\Users\jga\machine-learning-platzi\EJERCICIO_PROBLEMA\datasets\thenumbers.csv')

financials = financials[['movie_title','production_budget','worldwide_gross']]
financials

financials.shape

movies.shape

movies['movie_title']

movies_num

pd.concat([movies_num, movies['movie_title']],axis=1)

movies_num = pd.concat([movies_num, movies['movie_title']],axis=1)
movies_num = movies_num.loc[:,~movies_num.columns.duplicated()]


#HASTA AQUÍ FUNCIONA PERFECTO


#AQUÍ DEJA DE MOSTRARME LOS DATOS DE LAS COLUMNAS DE MOVIES_NUM, ME MUESTRA NaN EN CADA ESPACIO. LOS DATOS DE movie_title, production_budget y worldwide_gross SI ME APARECEN.


pd.merge(financials,movies_num,on='movie_title',how='left')``````

Loren Johanna Vásquez Rivera

student•

Tengo una duda, los datos de gross y budget quedan repetidos en la base movies_v2. Por lo que yo supongo que se usan solo los de la base que obtuvimos de Financials, ¿así debería ser?

Miguel Angel Velazquez Romero

student•

La parte de los datos faltantes se verá en la otra clase :)

movies_v2.duplicated(['movie_title'],keep=False).value_counts()
#valores repetidos

False    4298
True       87
dtype: int64
#dataframe.drop_duplicates() devuelve un dataframe nuevo por eso hay que asignarlo a una nueva variable.
movies_v3 = movies_v2.drop_duplicates(subset='movie_title')
movies_v3.shape
(4341, 11)

# -*- coding: utf-8 -*-

import numpy as np
import pandas as pd
import matplotlib.pyplot as pl
import seaborn as sb

%matplotlib inline

movies = pd.read_csv(r'C:\Users\jga\machine-learning-platzi\EJERCICIO_PROBLEMA\datasets\peliculas.csv',encoding='utf-8')

type(movies)

movies.head()

movies.shape

movies.columns

movies.index

columna1 = movies['movie_title']
columna1.head()

columna1

linea = movies.loc[10,:]
linea

movies.loc[:,'movie_title'].head()

movies.info()

movies.dtypes

type(movies.dtypes) 

movies.dtypes == float

movies.dtypes == int

(movies.dtypes == float) | (movies.dtypes == int)

movies.dtypes == object

num = (movies.dtypes == float) | (movies.dtypes == int)
num

num.index

for i in num:
    print(i)

for i in num.index:
    print(i)

num_cols = [c for c in num.index if num[c]] 
num_cols

obj = (movies.dtypes == object)
obj_cols = [c for c in obj.index if obj[c]]
obj_cols

num_cols

movies[num_cols] 

movies_num = movies[num_cols]

movies_num.describe()

movies_num['duration'].hist()

movies_num['imdb_score'].hist()

movies_num['budget'].hist()

movies_num['budget']>1e9

(movies_num['budget']>1e9).value_counts()

mask = (movies_num['budget']>1e9)

movies[mask]

pd.read_csv(r'C:\Users\jga\machine-learning-platzi\EJERCICIO_PROBLEMA\datasets\thenumbers.csv')

financials = pd.read_csv(r'C:\Users\jga\machine-learning-platzi\EJERCICIO_PROBLEMA\datasets\thenumbers.csv')

financials = financials[['movie_title','production_budget','worldwide_gross']]
financials

financials.shape

movies.shape

movies['movie_title']

movies_num

pd.concat([movies_num, movies['movie_title']],axis=1)

movies_num = pd.concat([movies_num, movies['movie_title']],axis=1)
movies_num = movies_num.loc[:,~movies_num.columns.duplicated()]

#HASTA AQUÍ FUNCIONA PERFECTO

#AQUÍ DEJA DE MOSTRARME LOS DATOS DE LAS COLUMNAS DE MOVIES_NUM, ME MUESTRA NaN EN CADA ESPACIO. LOS DATOS DE movie_title, production_budget y worldwide_gross SI ME APARECEN.

pd.merge(financials,movies_num,on='movie_title',how='left')``````

Limpiar los datos

Introducción al curso

Introducción al curso de Machine Learning Aplicado con Python

Cómo definir un problema de Machine Learning

Importancia de definir el problema en Machine Learning

Predecir el ingreso de películas de IMDB

Terminología de Machine Learning

Materiales del curso: Notebooks de Jupyter

El ciclo de ingeniería de Machine Learning

El ciclo de Machine Learning

Montar un ambiente de trabajo Pydata

Configuración del ambiente de trabajo con Google Collab

Qué es y cómo se utiliza Numpy

Arrays en Numpy

Operaciones aritméticas en Numpy

Preparación de los datos

Cargar los datos necesarios para el proyecto

Inspección de los tipos de datos

Inspección cuantitativa y de salud de los datos