Procesamiento de Archivos CSV en Python para Análisis de Datos

Clase 37 de 44 • Curso de Python: Comprehensions, Funciones y Manejo de Errores

Resumen

¿Cómo trabajar con archivos CSV?

Los archivos CSV son una herramienta fundamental en el manejo y análisis de datos. Son ampliamente utilizados por equipos de finanzas y data science debido a su versatilidad para organizar información en filas y columnas. En este artículo, exploraremos cómo manejar archivos CSV que contienen datos de la población mundial y cómo podemos procesarlos para generar gráficos utilizando Python.

¿Dónde obtener datasets para tus proyectos?

El punto de partida para cualquier análisis de datos es contar con un buen dataset. Una plataforma muy recomendada para obtener datasets de calidad es Kaggle. En Kaggle, puedes encontrar una amplia variedad de datasets abiertos, incluidos conjuntos de datos de población mundial. Para descargar los datos, solo necesitas:

Registrarte en la plataforma.
Buscar "World Population Dataset" y descargarlo.
Extraer el contenido del archivo comprimido para obtener un archivo CSV listo para su uso.

¿Cómo leer un archivo CSV en Python?

Para trabajar con archivos CSV en Python, utilizamos un enfoque programático que nos permite manipular y explorar los datos de manera eficiente. A continuación, te mostramos cómo puedes leer un archivo CSV en Python paso a paso.

Paso 1: Configurar el entorno

Subir el archivo CSV: Antes de empezar a trabajar, debes subir el archivo worldpopulation.csv a la carpeta de tu proyecto y renombrarlo como data.csv.
Crear un módulo para leer el CSV: Crea un nuevo archivo Python, read_with_csv.py, donde desarrollarás el script para procesar el CSV.

Paso 2: Importar el módulo CSV de Python

Comienza por importar el módulo nativo csv de Python, el cual facilita la lectura y manipulación de archivos CSV.

import csv

Paso 3: Definir la función de lectura

Esta función leerá el archivo CSV y lo procesará:

def read_csv(file_path):
    with open(file_path, mode='r') as csv_file:
        reader = csv.reader(csv_file, delimiter=',')
        data = []
        for row in reader:
            print("Esto es una fila:", row)
            data.append(row)
        return data

¿Cómo transformar datos CSV en diccionarios?

Una vez que tenemos los datos del CSV, es crucial transformarlos en un formato de diccionario para facilitar su manipulación y consulta.

Paso 4: Extraer el encabezado

El encabezado del CSV nos proporcionará los nombres de las columnas, que serán las claves en nuestros diccionarios:

header = next(reader)

Paso 5: Convertir filas en diccionarios

Utilizamos zip para crear pares clave-valor con el encabezado y cada fila del CSV, generando así una lista de diccionarios:

for row in reader:
    country_data = {key: value for key, value in zip(header, row)}
    data.append(country_data)

¿Cómo ejecutar el script como un programa independiente?

Configura tu módulo para que funcione tanto como parte del proyecto como un script independiente:

if __name__ == "__main__":
    data = read_csv('app/data.csv')
    print(data[0])

¿Qué conclusiones podemos extraer al manipular datos CSV?

Trabajar con archivos CSV nos permite extraer información valiosa de manera estructurada. Al transformar un CSV en un formato de diccionario, accedemos de forma más sencilla y eficiente a los datos, facilitando análisis posteriores como la generación de gráficos.

Recuerda que cada dataset cuenta una historia diferente. Te animamos a explorar este archivo CSV sobre población mundial y descubrir datos curiosos que podrías graficar subsecuentemente. La habilidad para manejar y transformar datos es un recurso invaluable en un mundo impulsado por la información. ¡Sigue practicando y perfeccionando tus habilidades en análisis de datos!

David E Marquez S

student•

En este momento me doy cuenta que me gusta y prefiero Pandas jajajaja

Oliver Asero

student•

de las ventajas de python es que las librerias que ya hay solucionan todos los problemas :c

Diego Jurado

student•

Esa librería pandas ofrece un sinnumero de posibilades. Allí si que queda todo por hacer!

Andres Felipe Galvis Cubillos

student•

no es por nada pero hay un método que ya resuelve lo de pasar los datos a diccionarios:

fileCSV = csv.DictReader(file,delimiter=',')

Patricia Velazquez

student•

Héroe.

Eber Daniel Oré Vilchez

student•

Estupendo el aporte

Pedro Matías Cuevas Meza

student•

Para transformar el iterable en un diccionario también se puede hacer:

country_dict = dict(iterable)

Leonardo Hurtado Valverde

student•

también pensé en esa opción

Miguel Angel Reyes Moreno

student•

Está bien, pero recordemos el Zen de Python: 'explícito es mejor que implícito'

Alexander Arias Capera

student•

Muy buena la clase y muy bien explicado, pero vaya que no es fácil familiarizarse con todos esos conceptos así de primera

Sebastian Guzman Tenorio

student•

A darle compañero!

Ruddy Ramos

student•

ES demasiada información para procesarla.

leonardo alies fuentes

student•

me pareció que es mas simple si si omitimos lo del for para crear el diccionario y simplemente hacerlo de esta forma, por si alguien le sirve import csv

def reader_csv(path): with open(path, 'r') as csvfile: reader = csv.reader(csvfile, delimiter= ',') header = next(reader) data = [] for row in reader: iterable = zip(header, row) prueba =dict((iterable)) data.append(prueba) return data if name == 'main': data = reader_csv('d:\prueba\propython\world_population.csv') print (data)

Emilio Ciappi

student•

Genial usar el método dict. muchas gracias por tu aporte.

Ruddy Ramos

student•

Muchas gracias por el aporte.

Jeinfferson Bernal G

student•

Leer un csv

#----- modulo para leer el acrhivo csv --------
import csv

# funcion abrir archivo
def read_csv(path):
  with open(path, 'r') as csvfile:
    reader = csv.reader(csvfile, delimiter=',')

    #nombre de las columnas se encuentra en la primera fila
    header = next(reader)
    
    data = []
    for row in reader:
      iterable =zip(header, row) # une los valores de la listas en tuplas
      country_dict = {key:value for key, value in iterable}
      data.append(country_dict)
      print(country_dict)

    return data

# correr archivo como script desde la terminal
if __name__ == '__main__':
  data = read_csv('./app/data.csv')
  print(data)

Andrés Guerrero

student•

Excelente, gracias por darnos el código explicado.

JORGE RAFAEL ARISTIZABAL DIAZ GRANAD

student•

Que buena solucion y el codigo super limpio :-) gracias

Martin Leonardi

student•

No se si alguien tiene esta duda, pero capaz ayuda a alguno Si alguien no entiende por qué hace next una sola vez y luego muestra las columnas acá te lo intento explicar un poco

Si empezamos a leer el CSV desde Excel, por ejemplo, se nos mostrará en la primera fila los nombres para que nos guíemos a la hora de leerlo. La primera fila NO tiene países, es solo de guía. Es por eso que hace el next() una vez.

Eduardo Peña Ramos

student•

Correcto.

Javier Andrés Carrillo Carrasco

student•

Genial, gracias.

Jhon Freddy Tavera Blandon

student•

¿Qué es un archivo CSV?

Un archivo CSV es un tipo de archivo que se utiliza para almacenar datos en una forma tabular estructurada (fila / columna). Es un archivo de texto plano y, como su nombre lo indica, almacena los valores separados por una coma.
En este artículo, tendremos una discusión detallada sobre cómo leer, escribir y analizar un archivo CSV en Python.

Fuente del archivo CSV

El concepto de tener un archivo CSV nació de la necesidad de exportar grandes cantidades de datos de un lugar a otro (programas). Por ejemplo, importando datos de una hoja de cálculo de gran tamaño y exportándolos a una base de datos. Asimismo, podemos exportar grandes cantidades de datos a programas.
Los diferentes lenguajes usan diferentes formatos para almacenar datos, por lo que cuando los programadores necesitan exportar datos de un programa a otro, sienten la necesidad de tener algún tipo de archivo universal con el cual transferir grandes cantidades de datos; Un tipo de archivo que cualquier programa puede leer y analizar en su propio formato.

Carlos Rodríguez

student•

Excelente clase, deberiamos separar en otra función la lógica de obtener la lista de diccionarios de el csv. . Podriamos tener como reto crear esa función 4 veces utilizando todos los métodos usados en el curso:

Método de iteración: ya lo hizo el profe en la clase
Método de loop: con ciclos for con vanilla python
Método de list comprehensions
Método de list y dict mapping

Leonel Grisaleña

student•

Siento que cada clase la entiendo, de hecho escribo el código durante la clase, pero al otro día si me dan hoja en blanco es muy dificil acordarse la estructura 😥

Carlos Arturo Gómez

student•

Toma el curso, repasa los conceptos y resuelve problemas. Lo que yo hago es hacer una lista de conceptos principales del curso, una pequeña descripción de para qué sirve y cuando me enfrento a un problema reviso la lista y miro que debo usar, adicionalmente si no recuerdo cómo implementar el comando, reviso los ejemplos de scribs en replit y con eso me guio

Leonel Grisaleña

student•

Gracias por los consejos Carlos! Estoy tomando apuntes ahora sisi. Y repasarlos siempre ayuda!

David Alejandro Gómez Mesa

student•

Estoy viendo dos veces la clase para entender mejor. Primero escribo el código mientras escucho a Nicolás para ir entendiendo cada línea. Luego repito la clase y analizo cada línea sin tener que preocuparme por escribir

Juan Pablo Quispe Molina

student•

EXPLICACIÓN PASO A PASO

import csv
# Abre el archivo CSV en modo lectura
def read_csv(ruta_file):
    with open(ruta_file, mode='r') as csvfile:
        lector_csv = csv.reader(csvfile, delimiter=',')
        data = []
        # Lee la primera fila como las claves
        claves = next(lector_csv)
        for fila in lector_csv:
            # Crea un diccionario utilizando las claves y los valores de la fila actual
            iterable = zip(claves, fila)
            country_dict = {key: value for key, value in  iterable}
            data.append(country_dict)
        return data

if __name__ == '__main__':
    resultado = read_csv('./data.csv')
    print(resultado[0])

Aquí tienes una explicación paso a paso del código:

Importar la biblioteca csv:
```
import csv
```
Se importa la biblioteca csv, que proporciona funcionalidades para trabajar con archivos CSV en Python.
Definir una función read_csv:
```
def read_csv(ruta_file):
```
Se define una función llamada read_csv que toma como argumento ruta_file, que es la ruta al archivo CSV que se va a leer.
Abrir el archivo CSV en modo lectura:
```
with open(ruta_file, mode='r') as csvfile:
```
Se abre el archivo CSV especificado en modo lectura ('r') utilizando la función open. La declaración with se utiliza para garantizar que el archivo se cierre correctamente después de su uso.
Crear un lector CSV:
```
lector_csv = csv.reader(csvfile, delimiter=',')
```
Se crea un lector CSV utilizando la función csv.reader. El argumento delimiter=',' especifica que las columnas en el archivo CSV están separadas por comas.
Inicializar una lista data:
```
data = []
```
Se inicializa una lista llamada data que se utilizará para almacenar los datos del archivo CSV.
Leer la primera fila como claves:
```
claves = next(lector_csv)
```
Se utiliza next(lector_csv) para leer la primera fila del archivo CSV, que generalmente contiene las claves o nombres de las columnas. Estas claves se almacenan en la variable claves.
Iterar a través de las filas del archivo:
```
for fila in lector_csv:
```
Se inicia un bucle for que itera a través de las filas del archivo CSV después de la primera fila.
Crear un diccionario para cada fila:
```
iterable = zip(claves, fila)
country_dict = {key: value for key, value in  iterable}
```
Para cada fila, se crea un diccionario utilizando las claves (nombres de columnas) de la primera fila y los valores de la fila actual. Esto se hace utilizando la función zip para combinar las claves y los valores en pares, y luego se utiliza una comprensión de diccionario para crear el diccionario country_dict.
Agregar el diccionario a la lista de datos:
```
data.append(country_dict)
```
El diccionario country_dict, que representa una fila de datos, se agrega a la lista data.
Devolver la lista de datos:
```
return data
```
Finalmente, la función read_csv devuelve la lista data que contiene todos los datos del archivo CSV.
Llamada a la función desde el bloque principal:
```
if __name__ == '__main__':
    resultado = read_csv('./data.csv')
    print(resultado[0])
```
El código en este bloque principal verifica si el script se está ejecutando como un programa independiente (if __name__ == '__main__':). Luego, llama a la función read_csv con la ruta del archivo CSV "data.csv" y muestra la primera fila de datos en la lista resultante.

En resumen, este código define una función read_csv que lee un archivo CSV, convierte sus datos en diccionarios y los almacena en una lista. Luego, muestra la primera fila de datos recuperada del archivo CSV. Esto es especialmente útil cuando deseas trabajar con datos tabulares almacenados en archivos CSV en Python.

Rigoberto Martinez Madriz

student•

mismo codigo que el del profesor pero aplicando mas el paradigma funcional

si tienen alguna opinión de como apegarse mas al paradigma por favor compártelo

import csv


def dict_whit_data(clave, value):
    """funcion que nos permite retornar un diccionario a partir de los valores de dos listas

    Args:
        clave (list): clave que tendra el diccionario
        value (list): valores que tendra el diccionario

    Returns:
        dict: diccionario con datos de las listas
    """
    iterable = zip(clave, value)
    country_dict = {clave : value for clave, value in iterable}
    return country_dict

def read_csv(path):
    with open(path, 'r') as csvfile:
        reader = csv.reader(csvfile)
        header = next(reader)
        # le pasamos las claves desde el escope de las funcion read_csr devido a que si se lo paso a la map esta estaria enviando a la funcion dict_whit_data cada valor dentro del array lo que queremos es el array completo
        
        data = list(map(lambda value: dict_whit_data(header, value) ,reader))

        return data
if __name__ == '__main__':
    path = 'world_population.csv'
    data = read_csv(path)
    print(data[0])

Darwin Smith Hurtado Torres

student•

yo lo que hice fue esto

import csv


def read_csv(path):
    with open(path, 'r') as csvfile:
        reader = csv.reader(csvfile, delimiter=',')
        header = next(reader)
        format_dict = lambda header, row: {header[i]: row[i] for i in range(0, len(header))}
        data = [format_dict(header, row) for row in reader]
        print(data)
        
            
if __name__ == '__main__': 
    read_csv('./11_app/data.csv')

ernesto lopez gonzalez

student•

excelente, me gustó esta opción usando lambdas

brayan miguel Oblitas Mejia

student•

para que sirve el path?

Ulises Alejandro Mánica Caricio

student•

El path es el parametro que mas tarde le daras a la función que vendrá siendo el nombre del programa que se leerá

En este caso sería read_csv('./app/data.csv') Lo que esta adentro de los parentesis es el path..... aunque tu podrías llamarlo como quisieras 'path', 'archivo', 'etc'

Erick Alay

student•

El path es la ruta en la cual se encuentra tu archivo, complemento de la idea del compañero Ulises :D.

Carolina Rocha

student•

Hola, por favor me pueden ayudar, a qué se debe este error?

Alexandra Gabriela

student•

Me pasa exactamente lo mismo y no encuentro el error.

Gabriel Londoño

student•

el error está en la dirección del archivo, probablemente no tengas el csv guardado en una carpeta llamada "app" y deberías corregirlo de acuerdo con

adrian mateo pabon correa

student•

Mi cerebro va a explotar jajaja

GERMAN GARCIA

student•

jajaja x2

Leonel Grisaleña

student•

Alguien sabe porque al imprimr me devuelve solo la primera posición de la lista del dataset? Veo el codigo igual, pero solo me devuelve Afghanistan

Jose Flores

student•

Creo que es porque tu return esta dentro del for. Por lo tanto eso hace que la funcion retorne la data en la primera iteracion. O sea el proceso solo se hace una vez. Solo saca el return del for y ya.

Astrid Baquero Bernal

student•

Hola, la declaración de la variable data:

    data = []

que tienes en la línea 10 de tu código, debería estar después de la línea 4 y antes del ciclo for, es decir antes de la línea 7 actual :

    for row in reader:

RODRIGO VALENCIA

student•

Hola chicos, dejo mi pequeño aporte. Adicional a lo que hice el profe, quise crear una funciòn màs que me permita guardar la lista con los diccionarios en un archivo .json, para esto usè el modulo json, cree un archivo .json en la misma carpeta que estamos trabajando este script, y cree la funciòn que recibe como parametro el arreglo de diccionarios a insertar y el archivo .json. Si quieres ver un poco màs sobre como usar el modulo json y los mètodos que tiene y en los cuales me base para esta pequeña mejora, te dejo el link aquì.

Aquì el script:

import csv
import json

def read_csv(path):
    with open(path, 'r') as csvfile:
        reader = csv.reader(csvfile, delimiter=',')
        header = next(reader)
        data = []
        for row in reader:
            iterable = zip(header, row)
            country_dict = {key:value for key,value in iterable}
            data.append(country_dict)

        return data

def convert_json(dict, path):
    with open(path, 'w') as file:
        json.dump(dict, file)


def main():
    data = read_csv('main/app/data.csv')
    convert_json(data, 'main/app/data.json')

if __name__ == '__main__':
    main()

Y aquì una pequeña parte del contenido del json que genera:

[
    {
        "Rank": "36",
        "CCA3": "AFG",
        "Country/Territory": "Afghanistan",
        "Capital": "Kabul",
        "Continent": "Asia",
        "2022 Population": "41128771",
        "2020 Population": "38972230",
        "2015 Population": "33753499",
        "2010 Population": "28189672",
        "2000 Population": "19542982",
        "1990 Population": "10694796",
        "1980 Population": "12486631",
        "1970 Population": "10752971",
        "Area (km\u00b2)": "652230",
        "Density (per km\u00b2)": "63.0587",
        "Growth Rate": "1.0257",
        "World Population Percentage": "0.52"
    },
    {
        "Rank": "138",
        "CCA3": "ALB",
        "Country/Territory": "Albania",
        "Capital": "Tirana",
        "Continent": "Europe",
        "2022 Population": "2842321",
        "2020 Population": "2866849",
        "2015 Population": "2882481",
        "2010 Population": "2913399",
        "2000 Population": "3182021",
        "1990 Population": "3295066",
        "1980 Population": "2941651",
        "1970 Population": "2324731",
        "Area (km\u00b2)": "28748",
        "Density (per km\u00b2)": "98.8702",
        "Growth Rate": "0.9957",
        "World Population Percentage": "0.04"
    }
]

¡Nunca pares de aprender! :D

Marco Osorio

student•

Hola, este es mi código, no quise utilizar la función zip, ya que me pareció un poco engorrosa

def read_csv(path):
    with open(path, 'r') as csvfile: 
        reader = csv.reader(csvfile, delimiter=';') 
        header = next(reader) # Imprime la primera lista, es decir los encabezados que son las llaves para los diccionarios
        data = []
        for row in reader: 
            population = {header[i]:row[i] for i in range(len(row))} # Creación de diccionario con sintaxis reducida, se usa la cabecera como la llave, y cada línea es el contenido
            data.append(population) # Se añade el contenido a una lista vacía.
        return data

if __name__ == '__main__':
    info = read_csv('./conceptos/data.csv') # Imprime la información en forma de lista
    print(info)

Recibo cualquier comentario, gracias :D

Gonzalo Alvarez Camargo

student•

Me parece una muy muy buena solución, pero creo que lo mejor sería lo del zip, por simplicidad más que nada, talvez tienes que hacer algo así muchas veces en un solo trabajo... mejor nos esforzamos por aprender lo del zip, que a mí también me parece una locura 😥

Braulio Rangel

student•

faltan los ":"

{'Rank,CCA3,Country/Territory,Capital,Continent,2022 Population,2020 Population,2015 Population,2010..