Manejo de ambientes para datos

Clase 14 de 25 • Curso de Fundamentos de Ingeniería de Datos

Andres Carrillo

student•

En mi equipo se manejan los siguientes ambientes:

Local: Consiste en una copia local de la rama master en el repo personal, aqui es donde se realiza todo el desarrollo.
Work: Tambien conocida como rama develop, es una rama espejo a la principal y es donde se valida lo ejecutado en local.
Live: Finalmente es llevado a la rama master mejor conocido como producción.

Marlene Villalobos

student•

Gracias por el aporte!

Ricardo Alanis

teacher•

Gracias por compartir!

Daviel Antonio Jiménez Comas

student•

Mi resumen de la clase:

Siempre es bueno probar, antes de poner en producción. Para esto hacemos una contribución ordenada. Detener lo que no funciona y darle continuidad a lo que funcionas en diferentes ramas en Git.

Para esto tenemos 3 ramas local, beta y producción.

Ricardo Alanis

teacher•

Pedro Oria

student•

Manejo de Ambientes para Datos - Resumen:

Definición: Los ambientes para datos son entornos aislados que se utilizan para la gestión de datos en diferentes etapas de un proyecto, como desarrollo, pruebas y producción. - Ventajas:

Aislamiento: Cada ambiente está aislado de los demás, lo que ayuda a prevenir problemas y conflictos entre diferentes etapas del proyecto. Esto significa que los cambios en el ambiente de desarrollo no afectarán el ambiente de producción, por ejemplo.
Control: Los ambientes permiten un mayor control sobre los datos y los procesos que se ejecutan en cada etapa. Esto facilita la gestión de versiones y garantiza que los datos se manipulen de manera segura.
Pruebas y Validación: Los ambientes de prueba ofrecen la posibilidad de realizar pruebas exhaustivas antes de implementar cambios en producción, lo que reduce el riesgo de errores y problemas en el entorno en vivo.
Escalabilidad: Los ambientes se pueden dimensionar según sea necesario. Por ejemplo, puedes tener un ambiente de desarrollo con recursos más limitados y un ambiente de producción con una configuración más robusta para manejar grandes volúmenes de datos y cargas de trabajo.

-Desventajas:

Complejidad: Mantener múltiples ambientes puede ser complejo y requerir recursos adicionales en términos de hardware y administración.
Costos: Cada ambiente adicional implica costos adicionales, ya sea en términos de hardware, software o recursos humanos para administrarlos.
Posible Divergencia: Si no se administran correctamente, los ambientes pueden divergir con el tiempo, lo que puede llevar a problemas cuando se migra código o datos de un ambiente a otro.
Configuración y Sincronización: Configurar y mantener los ambientes puede ser una tarea desafiante, especialmente en proyectos complejos con múltiples componentes y sistemas.

Ricardo Alanis

teacher•

Gracias!

Julian Castro Pulgarin

student•

Trabajar en ambientes cloud mitiga un poco eso de los distintos ambientes entre los desarrolladores, puedes tener las dependencias instaladas en un cluster que es para consumo de todos los desarrolladores y en el momento de mandar a prod llevas ese cluster a una image de docker para que se siga replicando. Punto positivo para cloud!!

Ricardo Alanis

teacher•

Correcto, pero con cuidado y con las herramientas necesarias. Tener corriendo un cluster disponible todo el tiempo con altas capacidades y consistencias puede ser un reto de ingeniería en si mismo! (Y posiblemente de costos!)

Miguel Angel Reyes Moreno

student•

La documentación de Docker queda muy bien aquí: Manage data in Docker

Ricardo Alanis

teacher•

Totalmente, buen anexo!

Ian Cristian Ariel Yané

student•

Se sigue un proceso para llevar funciones a produccion, primero pasa por el desarrollo de la funcionalidad, luego esa funcionalidad se lleva a la parte de pruebas y, por ultimo se pasa a la parte e produccion.

Ricardo Alanis

teacher•

Correcto. Una secuencia sostenible.

Brayan Murcia Sanchez

student•

Develop => Staging => Production

Ricardo Alanis

teacher•

gracias por compartir!!

Javier Alexander Rodríguez Masmela

student•

En mi equipo se trabaja en DEV, QA producción

Ricardo Alanis

teacher•

Perfecto!

Mario Alexander Vargas Celis

student•

Manejo de Ambientes para Datos

El manejo de ambientes en proyectos de datos es clave para garantizar la organización, la reproducibilidad, y la calidad en cada etapa del flujo de trabajo. Un ambiente bien diseñado facilita el desarrollo, las pruebas y el despliegue de soluciones basadas en datos.

¿Qué es un Ambiente para Datos?

Un ambiente es un entorno virtual, físico o en la nube que contiene las herramientas, configuraciones y datos necesarios para ejecutar procesos de un proyecto. Cada ambiente está diseñado para un propósito específico: desarrollo, pruebas o producción.

Tipos de Ambientes Comunes

Ambiente de Desarrollo (Development)
- Diseñado para la creación de nuevos pipelines, pruebas iniciales de código y exploración de datos.
- Herramientas comunes:
  - Jupyter Notebooks, VSCode, o IDEs personalizados.
  - Datos simulados o pequeñas muestras.
- Objetivo:
  - Facilitar iteraciones rápidas y la experimentación.
Ambiente de Pruebas (Testing/Staging)
- Replica el ambiente de producción con configuraciones similares.
- Incluye datos reales anonimizados o datos sintéticos representativos.
- Objetivo:
  - Validar que el código y las configuraciones funcionan correctamente antes del despliegue.
Ambiente de Producción (Production)
- Donde los pipelines procesan datos reales para aplicaciones en tiempo real o lotes.
- Monitorización activa y optimización continua.
- Herramientas comunes:
  - Kubernetes, Docker, Airflow.
- Objetivo:
  - Escalabilidad, estabilidad y confiabilidad.

Buenas Prácticas para el Manejo de Ambientes

Aislamiento de Entornos
- Evita conflictos de dependencias mediante herramientas como:
  - Virtualenv o Conda (para entornos Python).
  - Docker (para contenedores reproducibles).
- Ejemplo con Conda:conda create -n my_env python=3.9 pandas numpy conda activate my_env
Control de Versiones
- Usa Git para mantener control del código y colaborar con otros desarrolladores.
- Organiza ramas para diferentes etapas del desarrollo:
  - main: Producción.
  - dev: Desarrollo.
  - feature-*: Funcionalidades específicas.
Separación de Configuraciones
- Almacena credenciales y configuraciones sensibles en archivos .env o servicios de gestión de secretos.
- Ejemplo con .env:DATABASE_URL=postgres://user:password@localhost/db API_KEY=your_api_key
Datos Representativos
- Usa datos sintéticos o anonimizados en los ambientes de desarrollo y pruebas.
- Garantiza que los datos sean similares en estructura y características a los datos reales.
Automatización
- Implementa pipelines automatizados para construir, probar y desplegar código.
- Herramientas recomendadas:
  - CI/CD: GitHub Actions, GitLab CI/CD.
  - Orquestación de tareas: Apache Airflow, Prefect.
Monitorización y Logs
- Monitorea el rendimiento y captura logs para identificar problemas rápidamente.
- Herramientas útiles:
  - Grafana y Prometheus.
  - Servicios de logs como ELK Stack.

Flujo de Trabajo en Ambientes

1. Desarrollo

Crear y probar nuevos pipelines o algoritmos en un ambiente controlado.
Ejemplo:
- Escribir un script para extraer datos desde una API.
- Probarlo con datos ficticios en un notebook.

2. Pruebas

Validar que los pipelines funcionan correctamente con datos representativos.
Ejemplo:
- Ejecutar un pipeline en un clúster de prueba con datos anonimizados.
- Validar la calidad y consistencia de las transformaciones.

3. Producción

Desplegar el código y procesar datos reales.
Ejemplo:
- Usar Kubernetes para manejar múltiples instancias del pipeline.
- Monitorear tiempos de ejecución y detectar cuellos de botella.

Herramientas Clave

Gestión de Dependencias y Entornos
- Python: Conda, Pipenv, Poetry.
- Contenedores: Docker.
- Gestión de entornos virtuales.
Orquestación de Tareas
- Apache Airflow, Prefect, Luigi:
  - Automación y programación de pipelines.
Monitorización
- Grafana, Prometheus:
  - Visualización de métricas.
- ELK Stack:
  - Gestión de logs.
Despliegue
- Kubernetes: Escalabilidad y gestión de contenedores.
- CI/CD: Jenkins, GitHub Actions.

Ejemplo de Configuración Completa

Desarrollo
- IDE: VSCode.
- Datos: CSVs pequeños.
- Dependencias: Aisladas con Conda.
Pruebas
- Orquestación: Airflow.
- Clúster: Configuración en Docker Compose.
- Datos: Base de datos PostgreSQL con información simulada.
Producción
- Despliegue: Kubernetes.
- Monitorización: Grafana.
- Datos: Apache Kafka para ingesta en tiempo real.

Conclusión

El manejo de ambientes para datos es fundamental para garantizar que los proyectos sean escalables, reproducibles y confiables. Al integrar herramientas como Docker, Airflow y Kubernetes, junto con prácticas como la separación de configuraciones y la monitorización, puedes optimizar el flujo de trabajo y reducir errores en cada etapa del desarrollo.

Yeimmy Andrea Ramirez Jimenez

student•

Una de las ventajas es que permite a los desarrolladores realizar un adecuado manejo de las versiones , cambios o nuevos desarrollos permite no llevar errores al entorno de producción y solventarlos en un ambiente de pruebas.

Para es tos casos se debe prevenir situaciones en las cuales el software desarrollado presente comportamientos distintos y errores en los diferentes ambientes. Es decir evitar que las versiones de pruebas sean diferentes a las de producción.

Ricardo Alanis

teacher•

Correcto, lo importante es cuidar y evitar toda situación que nos pueda poner en riesgo la estabilidad.

Julian Castro Pulgarin

student•

Como decía mi abuela, cada casa tiene su religión Los equipos de data son muuy variados en sus ambientes de desarrollo-development

Ricardo Alanis

teacher•

Así es. En lo personal veo el reto de mantenimiento de datos en cada ambiente. Aún en los equipos de desarrollo los data engineer pueden colaborar.

Ian Cristian Ariel Yané

student•

El hecho de dockerizar algo y que ya esten todas las compativilidades instaladas para el proyecto en cuestion, es la caracteristica positiva numero 1, ya que de ahi se desprenden otras como hacer que las personas pueden empezar a trabajar en el proyecto mas rapidamente, por otro lado si se rompe algo dentro del docker, queda alli.

Ricardo Alanis

teacher•

Correcto, aislar las dependencias lo hace todo más sencillo!

Kevin Acevedo

student•

Ventajas de utilizar ambientes: - Mayor seguridad productiva: Al tener los ambientes separados, nos aseguramos que antes de enviar cualquier cambio a producción, pase por ambientes controlados, donde establecemos parámetros de prueba para verificar su buen funcionamiento. - Mejor organización: Separar por ambientes nos ayuda a tener un mejor control sobre los errores que suceden y como el ambiente en el que está influyen en este.

Desventajas: - Confusión: Si no se implementan correctamente, tener múltiples ambientes puede llevar a confusiones y malos entendidos; es por esto que, es necesario llevar un control preciso sobre los ambientes.

Martín Juan Gerardo Jaramillo Morales

student•

El ambiente donde se prueba el software es en beta verdad, es como si fuera el entorno de calidad.

JOSE VICENTE DIAZ OSPINA

student•

Muy bien explicado, una ruta coherente antes de la salida a producción, aqui toman mucha relevancia poder dockerizar.

Ricardo Alanis

teacher•

Asi es, eso confirma que el ambiente sea consistente.

Mauro Benito Montoya Arenas

student•

Cuando menciono branch se me vino a la cabeza git. Esto es de gran utilidad en equipos de desarrollo, para que cada programador trabaje por su cuenta y despues todo el codigo se una.

Ricardo Alanis

teacher•

Asi es! sin duda esta bastante relacionada la forma en la que desarrollamos y la forma en la que tenemos ambientes de datos!

Ruben Herrera

student•

Separación de entornos: Permite trabajar de forma organizada, probando cambios sin afectar al entorno real que usan los usuarios.* Local: Desarrollo y pruebas iniciales sin riesgos.
- Beta: Simulación en un entorno cercano al real, para identificar errores.
- Producción: Ambiente estable y seguro para los usuarios finales.
Detección temprana de errores: Los problemas pueden resolverse en local o beta antes de llegar a producción.
Mayor confianza: Los equipos pueden implementar cambios con menos miedo de romper algo en producción.
Colaboración eficiente: Diferentes equipos pueden trabajar en paralelo en local o beta sin interferir con producción.

Cristian Camilo Quinche Vélez

student•

Después de leer sobre el manejo de ambientes, entiendo que es una muy buena practica, aun no puedo como separar en etapas un proyecto que haría un equipo de Data Engineer, pero se que si se manejan por ambientes, podría optimizar su funcionalidad, donde se desarrolle, se pruebe, se verifique y así, a la hora de entrar la versión final, no vayan a ocurrir inconvenientes, respecto a las desventajas supongo que puede ser un poco mas demorado y se requieran de mas herramientas aumentando el costo

Juan Esteban Sanchez Bedoya

student•

Ambiente de pruebas seria el que mas destaca, ya que es el espacio en donde podemos poner en practica, equivocarnos, hacer retroalimentacion y finalmente desarollar un proceso que esta validado y tendremos la certeza que al momento de ponerlo en el ambiete de produccion funcionara de la mejor forma

Iván León Niño Ramírez

student•

Como DE eh trabahado principalmente con:

DEV Para desarrollo QA Para testeo y ejecucion con data basura Preprod Para ejecucion con data real, por lo general es una copia o derivacion de lo que alimenta prod

y PROD como paso final

Manejo de ambientes para datos

Introducción a la ingeniería de datos

¿Qué es ingeniería de datos? ¿Qué es Data Engineer?

Formación Integral para Data Engineers: Retos y Herramientas Esenciales

¿Cómo convertirte en Data Engineer?

¿Dónde ejercer como Data Engineer?

Tareas de Data Engineer: DataOPs

Herramientas del ciclo de DataOps

Agile en ingeniería de datos

Lenguajes de programación e ingeniería de software

¿Dónde y cómo escribir tu código en ingeniería de datos?

Automatización y scripting

Fuentes de datos: SQL, NoSQL, API y web scraping

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Automatizar los pipelines: Airflow

Containers y empaquetamiento: Docker y Kubernetes

Manejo de ambientes para datos

Testing de software y de datos

CI/CD basico

Servidores y computación en la nube para data

Reentrenamiento y control de salud de servicios

Medición de indicadores y seguimiento a proyectos

Ejerciendo como Data Engineer

Buscando Oportunidades como Data Engineer

Evolución en el rol: ganando seniority como Data Engineer

Evolución en el rol: manager, architect, pivot

Trabajando en equipo como Data Engineer

Conclusiones

Compartir con la comunidad y seguir creciendo

Completa tu guía con los retos y certifícate