Cursos Empresas Blog Live Conf Eventos Precios

Automatización y scripting

Curso de Fundamentos de Ingeniería de Datos

Contenido del curso

Introducción a la ingeniería de datos

Herramientas del ciclo de DataOps

Ejerciendo como Data Engineer

Conclusiones

Tomar examen

Automatización y scripting

Diego Pichardo

Estudiante

Hace 4 meses•editado

Para automatizar una tarea que va a una Base de datos, podemos usar python, donde la magia ocurre con pip install python-dotenv. Una vez instalado, solo necesitas añadir from dotenv import load_dotenv; load_dotenv() al inicio de tu script para que esas variables del archivo .env estén disponibles mediante os.getenv('TU_VARIABLE').

Pero como se hace un archvo .env?, sinceramente NO sabia hasta que investique, pues resulta que en la carpeta del proyecto debemos crear un archivo .env, ejemplo:

DB_HOST=192.168.1.100
DB_PORT=5432
DB_USER=miusuario
DB_PASSWORD=mipassword
DB_NAME=midb

instalamos libreria: pip install python-dotenv psycopg2; y el codigo seria:

import os

from dotenv import load_dotenv

import psycopg2

# Cargar variables desde el archivo .env

load_dotenv()

DB_HOST = os.getenv("DB_HOST")

DB_PORT = os.getenv("DB_PORT", "5432")

DB_USER = os.getenv("DB_USER")

DB_PASSWORD = os.getenv("DB_PASSWORD")

DB_NAME = os.getenv("DB_NAME")

try:

conn = psycopg2.connect(

host=DB_HOST,

port=DB_PORT,

user=DB_USER,

password=DB_PASSWORD,

dbname=DB_NAME

)

print("Conexión exitosa")

cursor = conn.cursor()

cursor.execute("SELECT NOW();")

print("Hora del servidor:", cursor.fetchone())

cursor.close()

conn.close()

except Exception as e:

print(f"Error al conectar: {e}")

Y si gustas en otra celda la logica de que es lo que requieres hacer, ingresar a columnas, usando pyspak o sql...

Automatización y scripting

Introducción a la ingeniería de datos

¿Qué es ingeniería de datos? ¿Qué es Data Engineer?

Formación Integral para Data Engineers: Retos y Herramientas Esenciales

¿Cómo convertirte en Data Engineer?

¿Dónde ejercer como Data Engineer?

Tareas de Data Engineer: DataOPs

Herramientas del ciclo de DataOps

Agile en ingeniería de datos

Lenguajes de programación e ingeniería de software

¿Dónde y cómo escribir tu código en ingeniería de datos?

Automatización y scripting

Fuentes de datos: SQL, NoSQL, API y web scraping

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Automatizar los pipelines: Airflow

Containers y empaquetamiento: Docker y Kubernetes

Manejo de ambientes para datos

Testing de software y de datos

CI/CD basico

Servidores y computación en la nube para data

Reentrenamiento y control de salud de servicios

Medición de indicadores y seguimiento a proyectos

Ejerciendo como Data Engineer

Buscando Oportunidades como Data Engineer

Evolución en el rol: ganando seniority como Data Engineer

Evolución en el rol: manager, architect, pivot

Trabajando en equipo como Data Engineer

Conclusiones

Compartir con la comunidad y seguir creciendo

Completa tu guía con los retos y certifícate