Leer archivos CSV y JSON con Pandas

Clase 12 de 24 • Curso de Manipulación y Transformación de Datos con Pandas y NumPy

Resumen

Para poder leer archivos encontrados en internet (Repositorios, Kaggle).

Descargamos el Archivo CSV, subimos el archivo a nuestro proyecto, le damos clic derecho sobre él y copiamos la dirección.

Menú desplegable al hacer clic derecho en nuestro proyecto con Pandas

import pandas as pd

pd.read_csv('/work/DataFrames/bestsellers-with-categories.csv')

Visualización de archivo CSV con Pandas 1

En algunas ocasiones el archivo podría estar separado por " | " y se vería así.

Visualización de archivo CSV con Pandas, separado por |

Para solucionar esto, usamos el atributo "Sep = ’ , ’ " y ya quedará bien organizado.

pd.read_csv('/work/DataFrames/bestsellers-with-categories.csv', sep=  ' , ')

Visualización de archivo CSV con Pandas 2

Cambiar el encabezado, lo podemos hacer con “Header”, este pondrá de encabezado los valores que tenga en esa posición.

pd.read_csv('/work/DataFrames/bestsellers-with-categories.csv', header = 2)

Visualización de archivo CSV con Pandas 3

Cambiar el nombre de las columnas con “names”.

pd.read_csv('/work/DataFrames/bestsellers-with-categories.csv',header = 0, names = ['Namesss', 'Authhhhhor', 'User Rating', 'Reviews', 'Price', 'Year', 'Genre'])

Visualización de archivo CSV con Pandas 4

JSON

Para ***agregar un archivo ‘JSON’***, se hace de igual manera, pero en esta ocasión usamos

pd.read_json('/work/DataFrames/hpcharactersdataraw.json')

Lo único que cambió en nuestro código fue él 'read_json()'

Reto

Visita Kaggle, descarga y carga algún dataset que te llame la atención. Muéstranos que has podido encontrar. 😄

Contribución creada por: Edward Giraldo.

Nicoll Idaly Angulo Mejia

student•

También puedes llamar el archivo directamente en el servidor

url = "https://static.platzi.com/media/public/uploads/hpcharactersdataraw_3d934e85-dfa4-42ec-8520-fadfbecae574.json"

pd.read_json(url)

Miguel Angel Reyes Moreno

student•

Súper útil para evitar la descarga del archivo y subirlo a Google Colab, ¡gracias Nicoll!

Ever Orlando Reyes Ruiz

student•

Cuando trabajamos con DataFrames limpiar los datos es importante, y me encanta empezar con .info(), ya que nos da un vistazo rápido pero bastante detallado y asi tener un punto de inicio claro.

Ismael Danilo Herrera Sánchez

student•

Nos podrías recomendar algún recurso para limpiar datos con pandas. Por favor :)

Paul Kevin Rengifo Sandoval

student•

algo que me gustaría añadir es que,el método info por defecto no analiza el espacio en memoria de los tipos de datos 'object', por eso muestra que el uso de memoria es 30.2+ KB, ese "+" quiere decir que el uso de la memoria puede ser mayor, si quieren ver realmente cuanta memoria consume solo basta con añadir el parametro "memory_usage = 'deep'"

df.info(memory_usage = 'deep')

Antonio Demarco Bonino

student•

Consejo del curso de crear tus propios proyectos de Data: busquen data sets de proyectos que les interesen. Estos pueden ser de sus ciudades y con temas que les interese mejorar para las mismas como el tránsito, la higiene, la iluminación, etc. Los datos están y son lo primero, parafraseando a Milton Friedman (él decía "primero los datos" pero el mensaje es el mismo), ahora depende de ustedes de cómo los usen.

Wilson Araque

student•

Si les aparece este error en VS code: SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: truncated \UXXXXXXXX escape

escriban esto:

pd.read_csv(r'C:\Users\Admin\Desktop\Python\Pandas\bestsellerswithcategories.csv')

Mauricio Monroy Acevedo

student•

nos has salvado estamos agradecidos

Jhins Ledys Cárdenas Pardo

student•

Excelente aporte Wilson. Solamente con poner la r antes de la ruta del archivo, ya pandas procede a leer la informacion. Muchas gracias!!!!!

Valentin Zandoli

student•

Con el encoding cuando creamos el dataframe podemos definir que codigo para manejo de caracteres queremos y asi evitar problemas por ejemplo con los acentos. El mayormente utilizado es el "utf-8".

Juan Antonio Aramburo Pasapera

student•

Sip. Aunque normalment trae pandas usa utf-8 por default muchos archivos no los guardan en ese encoding y es importante saber que se pueden cambiar.

Carlos Mazzaroli

student•

Enlace Apuntes Notion

Leer archivos CSV y JSON con Pandas

Cargar Archivos

Podemos cargar archivos a través de url, json, html, etc

CSV

Podemos cargar los archivos csv de manera automática, o dándole atributos especiales cuando el archivo no este delimitado por comas, sino por algún otro carácter

csv_per_default = pd.read_csv('./bestsellers-with-categories.csv')

Cambiar inicio nombres de columnas

header_0 = pd.read_csv('./bestsellers-with-categories.csv', sep=",", header=0,)
header_100 = pd.read_csv('./bestsellers-with-categories.csv', sep=",", header=100,)
header_none = pd.read_csv('./bestsellers-with-categories.csv', sep=",", header=None)

Cambiar nombres de columnas

df_books = pd.read_csv(
	'./bestsellers-with-categories.csv',
	sep=",",
	header=0
)
df_books.columns

df_books = pd.read_csv(
	'./bestsellers-with-categories.csv',
	sep=",",
	header=0,
	names=['Namesss', 'Authorrrr', 'User Rating', 'Reviews', 'Price', 'Year', 'Genre']
)
df_books.columns

JSON

Podemos cargar el archivo JSON como un DataFrame por default, u otra forma de llevar la estructura JSON a una estructura de Pandas como una Series

json_per_default = pd.read_json('./hpcharactersdataraw.json')

# Me indexa una lista en raw del formato llave valor del JSON
pd.read_json('./hpcharactersdataraw.json',typ='Series')

Reto

Sacar un dataset de Kaggle
Cargar el DataFrame con la ruta del archivo

# 
genshin = pd.read_csv('./genshin.csv', sep=',', header=0)
genshin
genshin.info()

Carlos Sosa

student•

Tengo problemas para descargar el archivo JSON. Directamente se me abre en en otra pestaña pero no se donde descargarlo. Alguien sabe como solucionarlo?

Ever Orlando Reyes Ruiz

student•

Suele suceder, mejor dale botón derecho y descargar link como :

Andres Salazar

student•

Otra opción es leer el archivo directamente desde la dirección de la pestaña que te abre

pd.read_json('https://static.platzi.com/media/public/uploads/hpcharactersdataraw_3d934e85-dfa4-42ec-8520-fadfbecae574.json')

Carlos Orejuela

student•

++Reto++ Decidí extraer el dataset sobre las tiroteos masivos que han sucedido en los Estados Unidos durante estos años. Esto me llamó mucho la atención, pues como en este país no está prohibido el uso de las armas tenía la curiosidad de saber las cifras exactas sobre ello. LINK: https://www.kaggle.com/datasets/jasonmobley/united-states-gun-violence-data-20142022

mass_shooting = pd.read_csv("/work/GunViolenceArchiveDataJan2014toJun2022.csv", sep=",", header=0)

Eduardo Peña Ramos

student•

Sería interesante ponerlo en un mapa.

David Alidhasem Manzanares Casio

student•

Argumento index_col= de pd.read_csv()

En ocasiones el archivo .csv que estamos importando ya tiene una columna que contiene los índices para las filas. Debemos indicar esto a pandas para que no cree unos nuevos índices por defecto. Esto lo logramos con el argumento index_col al que usaulemente se le pasa el valor 0 (la columna de índices suele ser la primera). .

Fernando Rodriguez-izquierdo Serrano

student•

He cargado una datasheet con los precios de Bitcoin y eliminado los que no tenían valor en la columna "Weighted_Price"

yunior puentes

student•

4.39 ....

Fabian Stevens Varon Valencia

student•

Usé en Kaggle el dataset de DragonBall, el cual muestra los personajes y su poder de pelea a través de las diferentes sagas.

DataSet aquí

Augusto Mas

student•

Muy buena clase! Me bajé un dataset desde Kaggle con datos relacionados con problemas de salud que pueden ocasionar un ataque al corazón.

Enlace al dataset en Kaggle: https://www.kaggle.com/datasets/kamilpytlak/personal-key-indicators-of-heart-disease

Mi notebook en deepnote: https://deepnote.com/workspace/a_mas-4d3cb1a2-d826-48e9-8cc9-c1f07b3940b6/project/Untitled-project-iXp8-mHHTnuiQ-vGmkSPZg/%2Fnotebook.ipynb

Jose Potes

student•

En una base de datos, con muchos valores. como puedo agregar un indice iniciando desde 1? en el caso de este df de books. inicia desde 0, pero, me gustaría reemplazarlo. un for sirve o pandas ya tiene la solucion?

gracias.

Alarcon7a

student•

Le puedes decir index +1

Jose Potes

student•

Gracias buen hombre

Gabriel Obregón

student•

Si el csv esta colgado en un link de internet con PANDAS lo podemos leer directamente. FUENTE https://stackoverflow.com/questions/32400867/pandas-read-csv-from-url

import pandas as pd
url="https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv"
c=pd.read_csv(url)
c

Juan Pablo Cuenca Ludeña

student•

Mi resumen #13 (Notion + Notas de Cornell)

William Camilo Correa Sandoval

student•

Utilice un Dataset de Kaggel "Happiness Index data"

Lo filtre por "Country or region"

Daniel da Silva Jarque

student•

Reto

Visita Kaggle, descarga y carga algún dataset que te llame la atención. Muéstranos que has podido encontrar

# World Population Dataset de Kaggle cargado en dataframe de pandas
df= pd.read_csv('/content/world_population.csv', sep=',', header=0)   

print(df.info())  # info del dataframe
df                # visualización del dataframe

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 234 entries, 0 to 233
Data columns (total 17 columns):
 #   Column                       Non-Null Count  Dtype  
---  ------                       --------------  -----  
 0   Rank                         234 non-null    int64  
 1   CCA3                         234 non-null    object 
 2   Country/Territory            234 non-null    object 
 3   Capital                      234 non-null    object 
 4   Continent                    234 non-null    object 
 5   2022 Population              234 non-null    int64  
 6   2020 Population              234 non-null    int64  
 7   2015 Population              234 non-null    int64  
 8   2010 Population              234 non-null    int64  
 9   2000 Population              234 non-null    int64  
 10  1990 Population              234 non-null    int64  
 11  1980 Population              234 non-null    int64  
 12  1970 Population              234 non-null    int64  
 13  Area (km²)                   234 non-null    int64  
 14  Density (per km²)            234 non-null    float64
 15  Growth Rate                  234 non-null    float64
 16  World Population Percentage  234 non-null    float64
dtypes: float64(3), int64(10), object(4)
memory usage: 31.2+ KB
None
Rank	CCA3	Country/Territory	Capital	Continent	2022 Population	2020 Population	2015 Population	2010 Population	2000 Population	1990 Population	1980 Population	1970 Population	Area (km²)	Density (per km²)	Growth Rate	World Population Percentage
0	36	AFG	Afghanistan	Kabul	Asia	41128771	38972230	33753499	28189672	19542982	10694796	12486631	10752971	652230	63.0587	1.0257	0.52
1	138	ALB	Albania	Tirana	Europe	2842321	2866849	2882481	2913399	3182021	3295066	2941651	2324731	28748	98.8702	0.9957	0.04
2	34	DZA	Algeria	Algiers	Africa	44903225	43451666	39543154	35856344	30774621	25518074	18739378	13795915	2381741	18.8531	1.0164	0.56
3	213	ASM	American Samoa	Pago Pago	Oceania	44273	46189	51368	54849	58230	47818	32886	27075	199	222.4774	0.9831	0.00
4	203	AND	Andorra	Andorra la Vella	Europe	79824	77700	71746	71519	66097	53569	35611	19860	468	170.5641	1.0100	0.00
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
229	226	WLF	Wallis and Futuna	Mata-Utu	Oceania	11572	11655	12182	13142	14723	13454	11315	9377	142	81.4930	0.9953	0.00
230	172	ESH	Western Sahara	El Aaiún	Africa	575986	556048	491824	413296	270375	178529	116775	76371	266000	2.1654	1.0184	0.01
231	46	YEM	Yemen	Sanaa	Asia	33696614	32284046	28516545	24743946	18628700	13375121	9204938	6843607	527968	63.8232	1.0217	0.42
232	63	ZMB	Zambia	Lusaka	Africa	20017675	18927715	16248230	13792086	9891136	7686401	5720438	4281671	752612	26.5976	1.0280	0.25
233	74	ZWE	Zimbabwe	Harare	Africa	16320537	15669666	14154937	12839771	11834676	10113893	7049926	5202918	390757	41.7665	1.0204	0.20
234 rows × 17 columns

Sebastian Gaviria

student•

Para quienes trabajan con WSL y Visual Studio Code, estos son los pasos que seguí:

Para obtener un archivo de otra dirección, debo ingresar a mi terminal y utilizar el siguiente comando:

wget --no-check-certificate 'url del archivo' -O (la letra O mayúscula) Enter

En este caso:

wget --no-check-certificate 'https://static.platzi.com/media/public/uploads/bestsellers-with-categories_e591527f-ae45-4fa5-b0d1-d50142128fa6.csv' Enter

Desde la terminal para renombrar el archivo a uno más corto:

$ mv bestsellers-with-categories_e591527f-ae45-4fa5-b0d1-d50142128fa6.csv bestsellers.csv Enter --> Me queda guardado el archivo como bestsellers.csv

Si queremos borrar el archivo original con el nombre largo hacemos lo siguiente:

$ rm bestsellers-with-categories_e591527f-ae45-4fa5-b0d1-d50142128fa6.csv Enter

Desde Visual Studio Code

Para saber en dónde está el archivo podemos hacer lo siquiente:

$ ls Enter

pd.read_csv('/home/sebasga79/bestsellers.csv') --> Debo encontrar la ruta en donde me quedó guardado el archivo para ingresarlo dentro de las comillas y voilà.

Enrique Palomino

student•

Buenas. Encontré este ejercicio en Kaggle, que trata de datos del Titanic. Al ver los datos que me arroja, solo me figuran 891 id's, uno por persona, tengo entendido. Pero quienes fallecieron en el accidente fueron más de 1500 personas. La data está mal? No coincide con la realidad

Jonathan Vásquez Alvarado

student•

Por si se preguntaban si está... hasta dos veces lo pusieron:

Eduardo Peña Ramos

student•

Jajaja algún fan :)

Leer archivos CSV y JSON con Pandas

Librerías de manipulación de datos con Python

¿Por qué NumPy y Pandas?

NumPy

NumPy Array

Tipos de datos

Dimensiones

Creando arrays

Shape y Reshape

Funciones principales de NumPy

Copy

Condiciones

Operaciones

Pandas

Series y DataFrames en Pandas