Extracción ETL con Pandas desde Postgres

La carga de datos por lotes puede ser muy útil para aquellas personas que tienen limitaciones de memoria en su equipo y no pueden cargar grandes conjuntos de datos en la memoria de una sola vez. Al cargar los datos en pequeñas porciones, la carga por lotes permite procesar los datos de manera más eficiente y sin agotar los recursos de memoria del equipo. Por lo tanto, si tienes limitaciones de memoria en tu equipo, te recomiendo que consideres la carga por lotes para procesar grandes conjuntos de datos.

# Conexión a la base de datos PostgreSQL
conn = pg.connect(
    host="localhost",
    database="postgres",
    user="postgres",
    password="password"
)

# Consulta SQL para seleccionar los datos
query = "SELECT * FROM trades"

# Tamaño del lote para cargar los datos
chunk_size = 1000

# Crear un generador de pandas para leer los datos en lotes
trades_generator = pd.read_sql_query(query, conn, chunksize=chunk_size)

# Concatenar los DataFrames de los lotes en uno solo
trades_df = pd.concat(trades_generator)

# Mostrar las primeras 5 filas del DataFrame completo
trades_df.head()

Camilo Granda Gómez

Muchas gracias por esta solución. Sin embargo, los datos aún no me cargan :(

Luis Cerén

Lo quiero mucho joven, un like no es suficiente para demostrar mi afecto a hacia usted.

Juan Sebastián Vargas Castañeda

Dependencias

En mi caso dado que creé un ambiente nuevo de anaconda etl-fundamentos tuve que instalar todas las dependencias. --
Con el ambiente virtual activo:

conda install -c anaconda sqlalchemy
conda install -c anaconda psycopg2
conda install -c anaconda pandas

Javier Hugo Noto Enriquez

para que usas '-c anaconda' ?

Juan Sebastián Vargas Castañeda

Es la sintaxis que encuentras en la docuementación. Significa channel. Es decir puedes usar -c o --channel. Se usa para especificar el "owner", en este en todos es anaconda.

Juan Ramón Salazar Garate

A quienes les salio el error ModuleNotFoundError: No module named 'psycopg2'

Puedes instalar el modulo de la siguiente manera: pip install psycopg2

Luego de ello reinician el Kernell y siguien con la clase!

Alfonso Tolentino Hernandez

En mi caso como estoy corriendo el Data Spell con anacando tuve que instalar el módulo con: conda install -c conda-forge psycopg2-binary desde la terminal

Davies

Escribe lo siguiente en el notebook:

pip install psycopg2-binary

nicolas machare

si estan usando la base de datos postgres dentro de docker y modificaron el puerto al crearlo, tenganlo en cuenta al momento de usar sqlalchemy. Modifique el comando del profesor y me funciono engine = create_engine('postgresql+psycopg2://postgres:mysecretpass@localhost:5433/postgres')

Eduard Giraldo Martínez

Funciona!!

Para las personas que no puedan copiar el codigo, Seleccionen una palabra dentro del comentario y precionan Ctrl + Shift + Flecha ->. Así podrán copiar el código

Liliana Andrea Bobadilla Duran

Funciona, muchas gracias :)

Javier Hugo Noto Enriquez

Modifique el aporte de un compañero y me funcionó super bien

# Conexión a la base de datos
engine = create_engine('postgresql+psycopg2://postgres:mysecretpass@localhost/postgres')

# Query
query = "SELECT * FROM trades"

# División del lote en lotes de registros
chunk_size = 100000

# Lectura de la base por lotes
trades_generator = pd.read_sql_query(query, engine, chunksize=chunk_size)

# Unión de todos los lotes
df_trades = pd.concat(trades_generator)

Luis Rivero

Acá falla el profesor al no indicar las versiones de las librerías que está utilizando, lit llevo más de una hora intentando que funcione psycopg2, a pesar de que un compañero dejó una solución sigue sin funcionarme...

Diana Marcela Ortiz Diaz

Tengo MySQL en mi UBUNTU, implemente el mismo ejercicio y funciono como origen de datos:

user = 'user' password = 'password' host = 'localhost' database = 'platzi_big_data' connection_string = f'mysql+mysqlconnector://{user}:{password}@{host}/{database}'

Debemos leer y preguntarle a ChatGPT, otro buen profesor!

Concurso TC

como entro a la notebook desde el dataSpell

Luis Cerén

A darle al curso de Ingles mientras que cargan esos datos

Camilo Granda Gómez

No me cargan los datos, ni siquiera por lotes :C

Erik Alejandro Garcia Duarte

Intenta guardar los datos en un csv

# Conexión a la base de datos PostgreSQL
conn = pg.connect(
    host="localhost",
    database="postgres",
    user="postgres",
    password="password"
)

# Consulta SQL para seleccionar los datos
query = "SELECT * FROM trades"

# Tamaño del lote para cargar los datos
chunk_size = 1000

# Nombre del archivo CSV donde se guardará el resultado
output_file = "trades.csv"

# Abrir el archivo CSV en modo escritura
with open(output_file, 'w') as f:
    # Crear un objeto escritor de CSV
    writer = csv.writer(f)

    # Ejecutar la consulta SQL y procesar los datos por lotes
    for trades_chunk in pd.read_sql_query(query, conn, chunksize=chunk_size):
        # Convertir el DataFrame de Pandas a una lista de listas
        trades_list = trades_chunk.values.tolist()

        # Escribir los datos en el archivo CSV
        writer.writerows(trades_list)

En lugar de concatenar todos los lotes en un solo DataFrame, se procesan los lotes por separado y se escriben en el archivo CSV usando el módulo csv de Python, lo que debería evitar que la memoria se llene.

Camilo Granda Gómez

Amigazo mil gracias por tu respuesta! Al principio tampoco me funcionaba, entonces borré la tabla y la volví a cargar y ahí sí me funcionaron las dos soluciones que aportaste, aunque prefiero esta, guardando los datos en un csv, porque es la más rápida. De seguro esto le servirá a muchas personas. Un saludo.

Juan Diego Martínez Quiroga

En donde almaceno los archivos json?

Alfonso Andres Zapata Guzman

Mínimo en la misma carpeta donde se encuentra el archivo jupyter, para que cuando hagas "miarchivo.json" este lo tome de esa carpeta, pero por convención se suele usar una carpeta alojada dentro de la carpeta donde esta el jupyter que usamos (algo como nuestro main) para los recursos, en este caso de uso una llamada "src", entonces al usarse en el jupyter la ruta seria así "src/miarchivo.json"

Concurso TC

¿como se entra al notebook de Python desde el mismo dataspell no indica ?

Alarcon7a

en files, le das abrir y ubicas el archivo

Cristian Eduardo Florián

¿No les pasa que abre dataspell al otro día o despues de reiniciar el computador y dice que está desconectado de la base de datos? Lo unico que se me ocurre es borrarla y cargarla nuevamente desde WSL, ¿Cómo le harían ustedes?

Alfonso Andres Zapata Guzman

Es sencillo, el contenedor con postgres no lo definimos para que arrancara encendido, en otro curso recuerdo que lo definíamos, por lo tanto el container arranca apagado por mas que se ejecute al arranque de nuestro equipo la interfaz de Docker. Simplemente abres Docker, vas a la pestaña de Containers, ves tu contenedor con postgres y en Actions seleccionos Play (tiene un ícono de play valga la redundancia) y ya, eso es todo.

Camilo Andres Leguizamón Reyes

Esos archivos no funcionan

VALERIA RIVERA DIOSSA

Hola, no entendí de donde obtuvimos la ruta de conexión a sql

Miguel Torres

¡Hola, Valeria!

La obtuvimos de la base de datos de PostgreSQL que creamos con Docker en la lectura de configuración. 🤓

Gabriel Maxemin Ramirez

valla enserio que esto me costo mucho trabajo de hacer y veo que muchos también se les complico no me imagino lo difícil que va seguir la clase desde google colab o deepnote, yo que lo estoy siguiendo paso a paso estuve varias horas instalando dependencias, creando el entorno virtual, haciendo la conexión a la base de datos pero saben al final me siento mas preparado ya que pude resolverlo solo y pues hay que verle lo bueno a lo malo que es que se aprendió. Pero no quita el echo que si lo hubieran explicado nos hubieran ahorrado muchas horas y mucho estrés ya que si enserio no explicaron nadota jajaj

Enrique Alejandro Terrazas Huamaní

Para llamar los archivos ya no es necesario ponerles 'src':

Y deben guardarlos en la misma ruta donde crearon la carpeta 'fundamentos-etl'

José Escorcia

Para los que les sale el error de que no encuentran psycopg2, simplemente instalen como import pandas as pd. from sqlalchemy import create_engine !pip install psycopg2```js Import pandas as PD from sqlalchemy import create_engine !pip install psycopg2

José Escorcia

import pandas as pd
from sqlalchemy import create_engine
!pip install psycopg2
```import pandas as pd
from sqlalchemy import create\_engine
!pip install psycopg2

Rubén Vega

Hola, estoy investigando, el por que. Alguna idea?

Eduard Giraldo Martínez

Pudiste encontrar alguna solución, también estoy allí. Voy a tratar de solucionarlo

Eduard Giraldo Martínez

Gracias a @Nicolas Machare, pude solucionarlo, lo que tienes que hacer es: agregar tú puerto con el que lo creaste engine = create_engine('postgresql+psycopg2://postgres:mysecretpass@localhost:8000/postgres')

En mi caso es el puerto 8000, lo más probable es que tú lo hayas configurado con el puerto 5432 o 5433 gracias a los aportes de la clase pasada

Espero te sirva

Brayan omar cabrera diez