CI/CD basico

Clase 16 de 25 • Curso de Fundamentos de Ingeniería de Datos

Cesar E. Tang

student•

DevOps esta enfocado en el ciclo de desarrollo de software y el proceso de despliegue de codigo a produccion. Mientras que DataOps esta enfocado en el ciclo de vida de los datos, se usa para garantizar la calidad de los datos y mejorar la velocidad en que estos son entregados.

Ricardo Alanis

teacher•

Así es. Filosofías muy importantes para sostener código

Wagner Fernández

student•

Muy buen aporte.

Andres Cervantes

student•

DevOps y DataOps: Buscan mejorar la eficiencia y la calidad del trabajo

DevOps y DataOps son dos metodologías diferentes que buscan mejorar la eficiencia y la calidad del trabajo en la gestión de software y datos, respectivamente. Aunque tienen objetivos diferentes, ambos se centran en la automatización, la colaboración y la mejora continua.

A continuación, se detallan las diferencias, similitudes y límites de ambas metodologías:

Diferencias:

DevOps se enfoca en la automatización del ciclo de vida del software, desde el desarrollo hasta la implementación y operación, mientras que DataOps se centra en la automatización del ciclo de vida de los datos, desde la adquisición hasta el análisis y la entrega.

DevOps busca mejorar la integración y la colaboración entre los equipos de desarrollo y operaciones, mientras que DataOps se enfoca en la colaboración entre los equipos de datos y de negocio. DevOps busca aumentar la velocidad y la calidad de la entrega de software, mientras que DataOps busca mejorar la calidad y la agilidad en la gestión de datos.

Similitudes:

Ambas metodologías se basan en la automatización y la mejora continua para mejorar la eficiencia y la calidad del trabajo. Ambas fomentan la colaboración y la integración entre los equipos de trabajo para lograr sus objetivos. Ambas buscan una entrega más rápida y eficiente de sus respectivos productos, ya sea software o datos.

Límites:

DevOps no se centra en la gestión de datos y su calidad, mientras que DataOps no se enfoca en el ciclo de vida completo del software.

Cada metodología tiene un conjunto diferente de herramientas y prácticas que no son necesariamente aplicables a la otra. Ambas metodologías pueden ser difíciles de implementar en organizaciones con culturas y estructuras resistentes al cambio.

5 herramientas para DevOps y DataOps:

Herramientas de DevOps:

Jenkins: es una herramienta de automatización de código abierto que permite la integración continua y la entrega continua de software.
Docker: es una plataforma de contenedores que permite la creación, distribución y ejecución de aplicaciones en cualquier entorno.
Ansible: es una herramienta de automatización de TI que permite la configuración, gestión y orquestación de sistemas y aplicaciones.
GitLab: es una herramienta de gestión de repositorios de código que permite la colaboración y el seguimiento del ciclo de vida del software.
Kubernetes: es una plataforma de orquestación de contenedores que permite la gestión y escalabilidad de aplicaciones en contenedores.

Herramientas de DataOps:

Airflow: es una plataforma de orquestación de flujo de trabajo de código abierto que permite la automatización de procesos de datos.
Databricks: es una plataforma de análisis de datos que permite la integración de diversas herramientas y la colaboración entre equipos.
Apache Kafka: es una plataforma de streaming de datos que permite el procesamiento y la entrega de datos en tiempo real.
Talend: es una herramienta de integración de datos que permite la extracción, transformación y carga de datos de diversas fuentes.
Snowflake: es una plataforma de almacenamiento de datos en la nube que permite el análisis y la gestión de datos de manera segura y escalable.

Ricardo Alanis

teacher•

Gracias por compartirlo!

Pedro Oria

student•

Gran aporte gracias!

Jerald Jeanphierre Espinoza Flores

student•

La metodología DataOps se basa en tres pilares principales: colaboración, automatización y medición.

++Colaboración++: DataOps fomenta la colaboración entre los equipos de TI y los equipos de negocios, con el objetivo de crear un flujo de trabajo sincronizado y una comunicación efectiva.
++Automatización++: DataOps se basa en la automatización de los procesos relacionados con el manejo de datos, incluyendo la integración, la limpieza, la validación, el almacenamiento y la gestión de metadatos.
++Medición++: DataOps utiliza métricas para medir el rendimiento y la calidad de los datos, con el objetivo de identificar problemas y mejorar continuamente el rendimiento de los procesos de manejo de datos.

Ian Cristian Ariel Yané

student•

Mientras que devops se enfoca en un conjunto de practicas mas generales.

Ricardo Alanis

teacher•

Gracias por compartir!!

Bryan Carvajal

student•

CI: Continous Integratation

CD: Continous Delivery

Ricardo Alanis

teacher•

Gracias por contribuir!

Pablo .

student•

Devops el equipo se focaliza en el ++desarrollo de aplicaciones++, mientras que DataOps el objetivo se centra en ++reducir los tiempos en el ciclo de análisis de datos++, desde su obtención hasta su análisis y visualización. (ref)
Imagen: HubSpot (Diferencia entre DataOps y DevOps)

Ricardo Alanis

teacher•

Gracias por compartir!

Andres Felipe Diaz Bolaños

student•

Me parece interesante este articulo sobre la diferencia entre DataOps y DevOps: https://devops.com/dataops-vs-devops-whats-the-difference/

Ricardo Alanis

teacher•

Gracias por compartir, agregar los componentes de proceso, de manejo de datos, son diferenciadores importantisimos!

Daviel Antonio Jiménez Comas

student•

Mi resumen de la clase:

Debemos de hacer integraciones continuas o entregas continuas y esta muy asociado a DevOps, es bueno conocerlo, pero habrá expertos en esto. DevOps está enfocado en el ciclo de desarrollo de software y el proceso de despliegue de Código a producción. Mientras que DataOps está enfocado en el ciclo de vida de los datos, se usa para garantizar la calidad de los datos y mejorar la velocidad en que estos son entregados.

Ricardo Alanis

teacher•

Wilmer Diaz

student•

Extra: Hoy en día a tomado fuerza Github Actions para flujos de CI/CD.

Ricardo Alanis

teacher•

Totalmente! Una alternativa presente.

Eiraliza Jiménez

student•

🔹 DevOps

Enfoque: Desarrollo y operaciones de software.
Objetivo: Reducir el tiempo entre escribir código y ponerlo en producción, asegurando calidad y estabilidad.
Claves:
- Integración continua (CI) y entrega continua (CD).
- Automatización de pruebas, despliegues y monitoreo.
- Colaboración entre desarrolladores y equipos de operaciones.
Ejemplo: Una app bancaria se actualiza cada semana con nuevas funcionalidades gracias a pipelines automatizados.

🔹 DataOps

Enfoque: Ciclo de vida de los datos y analítica.
Objetivo: Asegurar que los datos fluyan de forma confiable, segura y ágil desde la captura hasta el análisis, mejorando la calidad y valor de la información.
Claves:
- Automatización en ingestión, transformación y validación de datos.
- Gobernanza y calidad de datos (lineage, catalogación, auditoría).
- Integración de equipos de datos: ingenieros, científicos, analistas y negocio.
Ejemplo: Un Data Warehouse bancario que recibe millones de transacciones diarias, donde DataOps garantiza que la data llegue limpia y a tiempo para reportes y modelos de riesgo.

🚀 Diferencia principal

DevOps = código → busca entregar software más rápido y confiable.
DataOps = datos → busca entregar datos confiables y útiles para la analítica y la toma de decisiones.

Kevin Acevedo

student•

DevOps y DataOps son homólogos; DevOps enfocándose más en todo el proceso de pre, post y despliegue de software general y DataOps al software enfocado estrictamente en los datos.

William Andres Salcedo Coronado

student•

Devops trabaja con codigo de aplicaciones principalmente.

Dataops trabaja principalmente con datos y procesos de datos

Ana Giraldo

student•

El límite entre DataOps y DevOps está en su objeto de automatización y optimización:

DevOps mejora el desarrollo y despliegue de software.

DataOps mejora la entrega, calidad y confiabilidad de los datos.

Ambos pueden convivir en una organización moderna y, de hecho, se integran cada vez más en entornos de data-driven development

Alfredo Olmedo

student•

DataOps vs DevOps

DataOps

Enfoque: DataOps, abreviatura de Operaciones de Datos, se centra en la creación, implementación y mejora continua de los pipelines de análisis de datos. Se trata de asegurar la calidad, gobernanza y gestión de los datos.

Prácticas clave:

Automatización de Pipelines de Datos: Simplificación del proceso de mover datos de la fuente al destino.
Colaboración: Fomentar la cooperación sin problemas entre ingenieros de datos, analistas y otras partes interesadas.
Control de Versiones: Seguimiento de las transformaciones de datos y aseguramiento de la reproducibilidad.
Monitoreo y Pruebas: Verificación constante de los pipelines de datos para garantizar calidad y precisión.

DevOps

Enfoque: DevOps, abreviatura de Desarrollo y Operaciones, tiene como objetivo integrar y automatizar el desarrollo de software (Dev) y las operaciones de TI (Ops). El objetivo es acortar el ciclo de vida del desarrollo de sistemas y proporcionar entrega continua con alta calidad de software.

Prácticas clave:

Integración Continua (CI): Los desarrolladores integran con frecuencia sus cambios de código en un repositorio compartido.
Entrega Continua (CD): Automatización del proceso de lanzamiento para que los nuevos cambios se puedan desplegar rápida y seguramente.
Infraestructura como Código (IaC): Gestión y provisión de la infraestructura de computación a través de scripts legibles por máquinas.
Monitoreo y Registro: Supervisión del rendimiento de la aplicación y la salud del sistema.

Similitudes

Automatización: Ambos priorizan la automatización de tareas repetitivas para aumentar la eficiencia y reducir errores humanos.
Colaboración: Enfoque fuerte en la colaboración entre equipos y romper silos.
Mejora Continua: Implementación de bucles de retroalimentación para mejorar los procesos con el tiempo.

Diferencias

Área de Enfoque: DataOps se concentra en el ciclo de vida de los datos y el análisis, mientras que DevOps se centra en el desarrollo de software y las operaciones.
Herramientas: Aunque ambos pueden usar principios similares, las herramientas y tecnologías son diferentes. Las herramientas de DataOps incluyen plataformas de integración de datos, mientras que las herramientas de DevOps incluyen pipelines de CI/CD, orquestación de contenedores y más.

Mario Alexander Vargas Celis

student•

El CI/CD (Integración Continua/Despliegue Continuo) es una práctica que automatiza los procesos de integración, pruebas y despliegue en un proyecto de software. Es fundamental para garantizar que los cambios en el código lleguen rápidamente a producción con alta calidad y confiabilidad.

1. Componentes Básicos del CI/CD

Integración Continua (CI):
- Automatiza el proceso de combinar cambios de múltiples desarrolladores en un repositorio compartido.
- Incluye:
  - Compilación del código.
  - Ejecución de pruebas unitarias y de integración.
  - Validación de estilo de código (linting).
- Herramientas: GitHub Actions, Jenkins, Travis CI, GitLab CI/CD.
Despliegue Continuo (CD):
- Automatiza el despliegue del código en entornos de prueba, staging o producción.
- CD puede dividirse en:
  - Entrega Continua: El código está listo para despliegue manual.
  - Despliegue Continuo: El despliegue se realiza automáticamente al pasar las pruebas.

2. Beneficios del CI/CD Básico

Menos errores: Detección temprana de problemas en el código.
Rápida retroalimentación: Las pruebas automáticas detectan fallos rápidamente.
Despliegues frecuentes: Facilita ciclos de desarrollo ágiles y entrega continua de valor.
Reducción de riesgos: Automatiza tareas repetitivas y minimiza errores humanos.

3. Flujo Básico de CI/CD

Commit: Un desarrollador sube cambios a un repositorio (por ejemplo, GitHub o GitLab).
Pipeline CI:
- Se activa automáticamente.
- Pasos comunes:
  - Descargar dependencias.
  - Compilar el código (si aplica).
  - Ejecutar pruebas automáticas.
  - Validar estilo de código.
Pipeline CD:
- Si el pipeline CI pasa, los cambios se despliegan:
  - En staging para pruebas adicionales.
  - En producción si es despliegue continuo.

4. Configuración Básica de un Pipeline CI/CD

Ejemplo: Configuración básica en GitHub Actions

Archivo: .github/workflows/ci.yml

name: CI/CD Pipeline

on: push: branches: - main pull_request: branches: - main

jobs: build-and-test: runs-on: ubuntu-latest steps: - name: Checkout code uses: actions/checkout@v3

- name: Set up Python uses: actions/setup-python@v3 with: python-version: '3.9'

- name: Install dependencies run: pip install -r requirements.txt

- name: Run tests run: pytest

Ejemplo: Configuración en GitLab CI/CD

Archivo: .gitlab-ci.yml

stages: - test - deploy

test: stage: test script: - pip install -r requirements.txt - pytest

deploy: stage: deploy only: - main script: - echo "Deploying to production..."

5. Herramientas Básicas de CI/CD

GitHub Actions: Integrado en GitHub, fácil de configurar.
GitLab CI/CD: Incluido en GitLab, ideal para equipos con repositorios en GitLab.
Jenkins: Popular y altamente configurable, aunque más complejo de iniciar.
Travis CI: Buena opción para proyectos open-source.
CircleCI: Plataforma moderna y fácil de usar.

6. Siguientes Pasos para Expandir CI/CD

Agregar pruebas más complejas (integración, end-to-end).
Implementar despliegues a servicios en la nube como AWS, Azure o Google Cloud.
Monitoreo y alertas para detectar problemas en producción.
Configurar revisión de código automatizada.

Este flujo básico de CI/CD puede evolucionar según las necesidades del proyecto y el equipo.

Ruben Herrera

student•

La diferencia entre DataOps y DevOps radica en su enfoque principal:

DataOps:
- Enfocado en los datos.
- Optimiza la gestión, integración, calidad y entrega de datos en proyectos de analítica y machine learning.
- Mejora la colaboración entre científicos de datos, ingenieros de datos y analistas.
DevOps:
- Enfocado en el software.
- Automatiza y mejora la integración, entrega y despliegue continuo de aplicaciones.
- Promueve la colaboración entre desarrolladores y equipos de operaciones.

Ambos comparten principios como automatización, colaboración y mejora continua, pero su objetivo es diferente: DevOps para software, DataOps para datos.

Nicolas Leonardo Anicama Espinoza

student•

Resumen del límite

DataOps se detiene en la entrega de datos listos y de calidad.
DevOps empieza desde la implementación y operación de software y servicios.

Ambos son complementarios y esenciales en sistemas modernos, pero su límite se basa en si el foco es datos o aplicaciones.

Daniel Alejandro Perdomo Escobar

student•

Ambos buscan mejorar la eficiencia y la calidad, pero lo hacen en áreas diferentes:

DevOps optimiza el desarrollo y despliegue de software.
DataOps se enfoca en la entrega de datos confiables para análisis y toma de decisiones.

Cesar Andree Quispe Vicente

student•

Una consulta. soy nuevo en platzi. en el inicio del curso dice "8 horas de practica". ¿donde puedo encontrar esas horas de practica? estoy buscando y solo veo la parte teorica

Cristian Camilo Quinche Vélez

student•

Cuando se habla de devops se entiende que busca agilizar el proceso de entrega de software con calidad y dataops busca optimizar la gestión y analisis de los datos. Frente a los límites, leí que dataops se puede incluso considerar una evolución de devops y es vital para las empresas que tengan gran dependencia a grandes volúmenes de datos, frente a devops que se entiende que es como más general, ya que todos los proyectos de software deben aplicarlo.

Wilfredo González

student•

CI/CD (Integración Continua y Despliegue Continuo o Entrega Continua) es un conjunto de prácticas y herramientas que permite a los equipos de desarrollo de software automatizar y mejorar el proceso de entrega de código. Aquí tienes un desglose:

CI (Integración Continua - Continuous Integration):
- Es la práctica de integrar cambios de código frecuentemente (diariamente o varias veces al día) en un repositorio compartido.
- Cada integración es verificada automáticamente mediante pruebas automatizadas (unidades, integración, etc.), lo que permite detectar errores lo antes posible.
- Herramientas como Jenkins, GitLab CI, Travis CI y CircleCI son comunes para implementar CI.
- Objetivo: asegurar que el código nuevo funcione bien con el código existente.
CD (Despliegue Continuo - Continuous Deployment / Continuous Delivery):
- Despliegue Continuo: Tras pasar las pruebas, los cambios de código son desplegados automáticamente en producción sin intervención manual. Es el grado más avanzado de automatización.
- Entrega Continua: Similar al Despliegue Continuo, pero el proceso requiere una revisión manual final antes de desplegar en producción.
- CD garantiza que el software esté siempre en un estado listo para ser liberado a producción.

En resumen, CI/CD agiliza y asegura la calidad en el ciclo de desarrollo, desde escribir el código hasta lanzarlo a los usuarios finales, facilitando un desarrollo ágil y eficiente.

CI/CD basico

Introducción a la ingeniería de datos

¿Qué es ingeniería de datos? ¿Qué es Data Engineer?

Formación Integral para Data Engineers: Retos y Herramientas Esenciales

¿Cómo convertirte en Data Engineer?

¿Dónde ejercer como Data Engineer?

Tareas de Data Engineer: DataOPs

Herramientas del ciclo de DataOps

Agile en ingeniería de datos

Lenguajes de programación e ingeniería de software

¿Dónde y cómo escribir tu código en ingeniería de datos?

Automatización y scripting

Fuentes de datos: SQL, NoSQL, API y web scraping

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Automatizar los pipelines: Airflow

Containers y empaquetamiento: Docker y Kubernetes

Manejo de ambientes para datos

Testing de software y de datos

CI/CD basico

Servidores y computación en la nube para data

Reentrenamiento y control de salud de servicios

Medición de indicadores y seguimiento a proyectos

Ejerciendo como Data Engineer

Buscando Oportunidades como Data Engineer

Evolución en el rol: ganando seniority como Data Engineer

Evolución en el rol: manager, architect, pivot

Trabajando en equipo como Data Engineer

Conclusiones

Compartir con la comunidad y seguir creciendo

Completa tu guía con los retos y certifícate