Inspección cuantitativa y de salud de los datos

Clase 13 de 32 • Curso de Machine Learning Aplicado con Python

Pedro Escobar

student•

Método describe(): Para cada columna, da todas las propiedades estadísticas si es una columna numérica, si hay alguna de texto entre las numéricas nos daría menos información.

Este método nos da información sobre:
Count: cantidad de información
Mean: Promedio
Std: Desviación estándar
Min: mínimo
25%, 50%, 75% son los cuartiles
Los cuartiles son valores que dividen una muestra de datos en cuatro partes iguales
25% de los datos es menor que o igual a este valor.
La mediana. 50% de los datos es menor que o igual a este valor.
75% de los datos es menor que o igual a este valor.
Max: máximo

Darvin Orozco

student•

Muuuuy excelente resumen y aporte, gracias! me ayudaste con el tema de los cuartiles. Saludos

Diaz Mauricio

student•

Gracias

Giancarlo Bravo Falabella

student•

Con respecto a la obtención de las columnas según el tipo de datos que contienen: Podemos ahorrarnos estos pasos usando el siguiente método

movies_nums = movies.select_dtypes(exclude=['object'])
movies_obj = movies.select_dtypes(include=['object'])

Creando directamente el DataFrame con los datos que nos interesan. Espero les sirva de ayuda 😄

Darvin Orozco

student•

Genial, muy excelente aporte que hasta se entiende más lo que se desea hacer. Saludos y gracias por tomarte el tiempo.

Julian David Orozco Colorado

student•

mas entendible como lo explica ud.

Wilson Camilo Forero Sierra

student•

Para quienes no encuentren el .csv de thenumbers.com está en la clase número 13 en la sección de Archivos y Enlaces (lo escribo porque me pasó jajaja)

Adamo Jordán Figueroa Pérez

student•

Esta caída la página? , no logré verla ;(

Wilson Camilo Forero Sierra

student•

Si, al parecer ya no existe la página :( también quería ver la original pero no lo logré, así que busqué el archivo directo

Loren Johanna Vásquez Rivera

student•

Si quieren ver una explicación de Web Scraping, el profesor @jdaroesti en la clase 41 del curso de Python lo explica.

Juan José Mamani Tarqui

student•

Graxs preciosa :)

Arturo Morales Rangel

student•

Que hacer si no usan jupyter. Si estan corriendo sus pruebas en la terminal (en mi caso cmd en windows), solamenten manden llamar el plot.show para que les muestre la grafica, como se muestra en la ultima linea (es importante llamar hist() para mandar a graficar, como se muestra en la penultima linea).

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sb


movies = pd.read_csv('peliculas.csv', encoding = 'utf-8')



num = (movies.dtypes == float) | (movies.dtypes == int)

num_col = [i for i in num.index if num[i]]

obj = movies.dtypes == object

obj_col = [ j for j in obj.index if obj[j] ]

movies_data_num = movies[num_col]

movies_data_num['duration'].hist()

plt.show()

Jose Silva

student•

gracias no sabia como hacerlo

Darvin Orozco

student•

Gracias! siempre es bueno saber cómo Graficar desde la consola.

Fernando Ignacio Gómez De la Rosa

student•

No es necesario separar las columnas numéricas de las de texto para obtener la información del describe(). Cuando utilizan esta función, automaticamente se toman las columnas numéricas y se puede especificar para que haga en todas las columnas pero con restricciones de resultado en las columnas de texto.

movies.describe() # solo realiza la descripción del DataFrame sobre columnas numéricas
movies.describe(include='all') # realiza la descripción sobre todas las variables.

Williams Amaya

student•

me hubiese gustado que explicaras como solucionaste el problema de las monedas en profundidad

Usuario anónimo

user•

Uso otra bd, que contiene información precisa, con esto únicamente lo que hizo fue reemplazarla.

Usuario anónimo

user•

Hubiera sido muy bueno haber visto como se solucionaba el problema de la columna de cambiar las monedas al mismo valor todas para cuando nos encontremos esto en la vida real.

Jonathan Javier Larrarte Fierro

student•

Si, hubiera sido bueno ...

Jimmy Buriticá Londoño

student•

Boolean Filtering es una técnica que se usa para detectar errores, consiste en crear una serie de booleanos con el mismo indice de nuestro DataFrame, donde los True cumplen una condición dada, y de estos se pueden extraer los datos que se salen de la lógica y proceder a investigar uno por uno el porque y corregirlos si es el caso.

Loren Johanna Vásquez Rivera

student•

La explicación de Web Scraping: https://platzi.com/clases/1104-python/7118-que-es-web-scrapi-6/

Cristian Orozco Benjumea

student•

El curso de Big Data y Data Science es un buen complemento para hacerlo junto a éste ya que ambos se complementan.

Cristian Orozco Benjumea

student•

jjaja perdón por la redundancia, ya estaba dormido al momento de redactar la idea 😳

Darvin Orozco

student•

En total acuerdo con lo que dices, porque aunque no es indispensable el curso de Big Data y Data Science, sí es un excelente complemento para perfeccionar.

Jimmy Buriticá Londoño

student•

Un histograma es una representación gráfica de una variable en forma de barras, donde la superficie de cada barra es proporcional a la frecuencia de los valores representados. De esta forma podemos revisar columna a columna, si los datos son normales o encontramos algún error, como el ejemplo de Budget en yenes.

Carlos Daniel Jiménez

student•

Si se quiere hacer de una manera más pro

<
movies_num['log_budget']=np.log(movies_num['budget'])
movies_num['log_budget'].hist()
>

Carlos Daniel Jiménez

student•

Esto normaliza la variable budget

Carlos Oblitas Villegas

student•

Que grafico les aparece con el logaritmo?

Usuario anónimo

user•

Cada día se pone mas interesante

Erika Julieth Corzo Quintero

student•

No sé si a alguien más le pasó, pero cuando pongo "movies (mask)" me sale que el DataFrame no se puede llamar, ya revisé toda las líneas anteriores y todo esta normal, no había fallado nada hasta este momento. ¿Alguien sabe como solucionarlo?

Jose Silva

student•

pon tu codigo para verlo

Darvin Orozco

student•

Hola ¿Has podido solucionar que el dataFrame no se puede llamar?

Usuario anónimo

user•

En resumen se trabajaron los métodos que pandas facilita sobre datos cuantitativos como por ejemplo: .describe() para obtener algunas medidas centrales, dispersión y de posición de datos por columna, .hist() para obtener histogramas, .values_count() para inspeccionar que valores cumplen con una referencia y la forma de crear una 'mask' para filtrar mejor los datos.

Jorge Corante

student•

una duda , cuando usa movies_num("duration").hist() ¿que representa el eje x y el eje y de la gráfica?

Jean Paul

teacher•

En el eje x se lee la cantidad de tiempo que dura la pelicula y en el eje y la cantidad de peliculas que duran dicho tiempo.

Por ejemplo se puede ger que la mayoria de peliculas duran entre 50 y 100 minutos con casi 3.000 peliculas que tienen una duracion entre esos dos valores.

Estefanía David Rodríguez

student•

El eje X, representa la variable que se está graficando, en este caso el tiempo de películas en minutos y el eje Y representaría un conteo, es decir, cuántas películas cumplen para cada uno de los valores de X.

Pablo Enrique Gonzalez Negrin

student•

Cuando usaste el debug usaste “mask = (movies_num[‘budget’] > le9)” Minuto 6:44
¿Porque le9 significa 1billon?¿Si puedes agrega mas referencias a este uso?.
Muchas gracias.

Juan José Rivera

student•

Es notacion cientifica, 1e9 significa 1 seguido de 9 ceros: 1,000,000,00. Mill millones o One Billion.

Tatiana Novoa

student•

para los histogramas de todas las columnas numericas ->

movies_num.hist()

JOHN GERMAN GARCIA GONZALEZ

student•

Si se va hacer captura del video para verlo despues off-line en mi PC, se corta cada 5 minutos, ¿sera que eso no esta permitido hacerlo?