CI/CD basico

Curso de Fundamentos de Ingeniería de Datos

Contenido del curso

Introducción a la ingeniería de datos

Herramientas del ciclo de DataOps

Ejerciendo como Data Engineer

Conclusiones

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:002:27

CI/CD basico

Curso de Fundamentos de Ingeniería de Datos

Clase 16 de 25

Clase 16 / 25

Comentarios (41)41 comentarios

Cesar E. Tang

Hace 4 años

DevOps esta enfocado en el ciclo de desarrollo de software y el proceso de despliegue de codigo a produccion. Mientras que DataOps esta enfocado en el ciclo de vida de los datos, se usa para garantizar la calidad de los datos y mejorar la velocidad en que estos son entregados.

Ricardo Alanis

Profesor

Hace 4 años

Así es. Filosofías muy importantes para sostener código

Wagner Fernández

Hace 4 años

Muy buen aporte.

Andres Cervantes

Hace 3 años

DevOps y DataOps: Buscan mejorar la eficiencia y la calidad del trabajo

DevOps y DataOps son dos metodologías diferentes que buscan mejorar la eficiencia y la calidad del trabajo en la gestión de software y datos, respectivamente. Aunque tienen objetivos diferentes, ambos se centran en la automatización, la colaboración y la mejora continua.

A continuación, se detallan las diferencias, similitudes y límites de ambas metodologías:

Diferencias:

DevOps se enfoca en la automatización del ciclo de vida del software, desde el desarrollo hasta la implementación y operación, mientras que DataOps se centra en la automatización del ciclo de vida de los datos, desde la adquisición hasta el análisis y la entrega.

DevOps busca mejorar la integración y la colaboración entre los equipos de desarrollo y operaciones, mientras que DataOps se enfoca en la colaboración entre los equipos de datos y de negocio. DevOps busca aumentar la velocidad y la calidad de la entrega de software, mientras que DataOps busca mejorar la calidad y la agilidad en la gestión de datos.

Similitudes:

Ambas metodologías se basan en la automatización y la mejora continua para mejorar la eficiencia y la calidad del trabajo. Ambas fomentan la colaboración y la integración entre los equipos de trabajo para lograr sus objetivos. Ambas buscan una entrega más rápida y eficiente de sus respectivos productos, ya sea software o datos.

Límites:

DevOps no se centra en la gestión de datos y su calidad, mientras que DataOps no se enfoca en el ciclo de vida completo del software.

Cada metodología tiene un conjunto diferente de herramientas y prácticas que no son necesariamente aplicables a la otra. Ambas metodologías pueden ser difíciles de implementar en organizaciones con culturas y estructuras resistentes al cambio.

5 herramientas para DevOps y DataOps:

Herramientas de DevOps:

Jenkins: es una herramienta de automatización de código abierto que permite la integración continua y la entrega continua de software.
Docker: es una plataforma de contenedores que permite la creación, distribución y ejecución de aplicaciones en cualquier entorno.
Ansible: es una herramienta de automatización de TI que permite la configuración, gestión y orquestación de sistemas y aplicaciones.
GitLab: es una herramienta de gestión de repositorios de código que permite la colaboración y el seguimiento del ciclo de vida del software.
Kubernetes: es una plataforma de orquestación de contenedores que permite la gestión y escalabilidad de aplicaciones en contenedores.

Herramientas de DataOps:

Airflow: es una plataforma de orquestación de flujo de trabajo de código abierto que permite la automatización de procesos de datos.
Databricks: es una plataforma de análisis de datos que permite la integración de diversas herramientas y la colaboración entre equipos.
Apache Kafka: es una plataforma de streaming de datos que permite el procesamiento y la entrega de datos en tiempo real.
Talend: es una herramienta de integración de datos que permite la extracción, transformación y carga de datos de diversas fuentes.
Snowflake: es una plataforma de almacenamiento de datos en la nube que permite el análisis y la gestión de datos de manera segura y escalable.

Ricardo Alanis

Profesor

Hace 3 años

Gracias por compartirlo!

Pedro Oria

Hace 3 años

Gran aporte gracias!

Jerald Jeanphierre Espinoza Flores

Hace 4 años

La metodología DataOps se basa en tres pilares principales: colaboración, automatización y medición.

++Colaboración++: DataOps fomenta la colaboración entre los equipos de TI y los equipos de negocios, con el objetivo de crear un flujo de trabajo sincronizado y una comunicación efectiva.
++Automatización++: DataOps se basa en la automatización de los procesos relacionados con el manejo de datos, incluyendo la integración, la limpieza, la validación, el almacenamiento y la gestión de metadatos.
++Medición++: DataOps utiliza métricas para medir el rendimiento y la calidad de los datos, con el objetivo de identificar problemas y mejorar continuamente el rendimiento de los procesos de manejo de datos.

Ian Cristian Ariel Yané

Hace 4 años

Mientras que devops se enfoca en un conjunto de practicas mas generales.

Ricardo Alanis

Profesor

Hace 4 años

Gracias por compartir!!

Bryan Carvajal

Hace 4 años

CI: Continous Integratation

CD: Continous Delivery

Ricardo Alanis

Profesor

Hace 4 años

Gracias por contribuir!

Pablo .

Hace 4 años

Devops el equipo se focaliza en el ++desarrollo de aplicaciones++, mientras que DataOps el objetivo se centra en ++reducir los tiempos en el ciclo de análisis de datos++, desde su obtención hasta su análisis y visualización. (ref)
Imagen: HubSpot (Diferencia entre DataOps y DevOps)

Ricardo Alanis

Profesor

Hace 4 años

Gracias por compartir!

Andres Felipe Diaz Bolaños

Hace 4 años

Me parece interesante este articulo sobre la diferencia entre DataOps y DevOps: https://devops.com/dataops-vs-devops-whats-the-difference/

Ricardo Alanis

Profesor

Hace 4 años

Gracias por compartir, agregar los componentes de proceso, de manejo de datos, son diferenciadores importantisimos!

Daviel Antonio Jiménez Comas

Hace 4 años

Mi resumen de la clase:

Debemos de hacer integraciones continuas o entregas continuas y esta muy asociado a DevOps, es bueno conocerlo, pero habrá expertos en esto. DevOps está enfocado en el ciclo de desarrollo de software y el proceso de despliegue de Código a producción. Mientras que DataOps está enfocado en el ciclo de vida de los datos, se usa para garantizar la calidad de los datos y mejorar la velocidad en que estos son entregados.

Ricardo Alanis

Profesor

Hace 4 años

Eiraliza Jiménez

Hace un año

🔹 DevOps

Enfoque: Desarrollo y operaciones de software.
Objetivo: Reducir el tiempo entre escribir código y ponerlo en producción, asegurando calidad y estabilidad.
Claves:
- Integración continua (CI) y entrega continua (CD).
- Automatización de pruebas, despliegues y monitoreo.
- Colaboración entre desarrolladores y equipos de operaciones.
Ejemplo: Una app bancaria se actualiza cada semana con nuevas funcionalidades gracias a pipelines automatizados.

🔹 DataOps

Enfoque: Ciclo de vida de los datos y analítica.
Objetivo: Asegurar que los datos fluyan de forma confiable, segura y ágil desde la captura hasta el análisis, mejorando la calidad y valor de la información.
Claves:
- Automatización en ingestión, transformación y validación de datos.
- Gobernanza y calidad de datos (lineage, catalogación, auditoría).
- Integración de equipos de datos: ingenieros, científicos, analistas y negocio.
Ejemplo: Un Data Warehouse bancario que recibe millones de transacciones diarias, donde DataOps garantiza que la data llegue limpia y a tiempo para reportes y modelos de riesgo.

🚀 Diferencia principal

DevOps = código → busca entregar software más rápido y confiable.
DataOps = datos → busca entregar datos confiables y útiles para la analítica y la toma de decisiones.

Wilmer Diaz

Hace 4 años

Extra: Hoy en día a tomado fuerza Github Actions para flujos de CI/CD.

Ricardo Alanis

Profesor

Hace 4 años

Totalmente! Una alternativa presente.

Ana Giraldo

Hace 2 años

El límite entre DataOps y DevOps está en su objeto de automatización y optimización:

DevOps mejora el desarrollo y despliegue de software.

DataOps mejora la entrega, calidad y confiabilidad de los datos.

Ambos pueden convivir en una organización moderna y, de hecho, se integran cada vez más en entornos de data-driven development

Daniel Urango

Hace 7 días

Por un lado DevOps se centra en el desarrollo de software, integración y despliegue con el objetivo de asegurar su calidad, estabilidad y velocidad en la entrega de aplicaciones.

Por otro lado, DataOps se centra en la calidad de los datos, el flujo de los datos y la construcción de pipelines para procesarlos asegurándose de que los datos confiables, de calidad y se entreguen de manera continua para la toma de decisiones y el entrenamiento de modelos de machine learning.

Jhoan Sebastian Lozano Gutierrez

Hace un mes

DevOps se centra en automatizar y mejorar el ciclo de vida del desarrollo y operación del software, mientras que DataOps aplica principios similares al ciclo de vida de los datos. La principal frontera entre ambos está en su objeto de trabajo: DevOps administra código, aplicaciones e infraestructura; DataOps administra pipelines, transformaciones y calidad de los datos. Sin embargo, ambas disciplinas se complementan y comparten prácticas como automatización, monitoreo, pruebas, control de versiones e integración continua.

Janett Venegas Martínez

Hace 4 meses

Mientras que DevOps optimiza el flujo de código hacia producción, DataOps se obsesiona con la calidad y el linaje de los datos que alimentan ese código.

Kevin Acevedo

Hace un año

DevOps y DataOps son homólogos; DevOps enfocándose más en todo el proceso de pre, post y despliegue de software general y DataOps al software enfocado estrictamente en los datos.

William Andres Salcedo Coronado

Hace 2 años

Devops trabaja con codigo de aplicaciones principalmente.

Dataops trabaja principalmente con datos y procesos de datos

Alfredo Olmedo

Hace 2 años

DataOps vs DevOps

DataOps

Enfoque: DataOps, abreviatura de Operaciones de Datos, se centra en la creación, implementación y mejora continua de los pipelines de análisis de datos. Se trata de asegurar la calidad, gobernanza y gestión de los datos.

Prácticas clave:

Automatización de Pipelines de Datos: Simplificación del proceso de mover datos de la fuente al destino.
Colaboración: Fomentar la cooperación sin problemas entre ingenieros de datos, analistas y otras partes interesadas.
Control de Versiones: Seguimiento de las transformaciones de datos y aseguramiento de la reproducibilidad.
Monitoreo y Pruebas: Verificación constante de los pipelines de datos para garantizar calidad y precisión.

DevOps

Enfoque: DevOps, abreviatura de Desarrollo y Operaciones, tiene como objetivo integrar y automatizar el desarrollo de software (Dev) y las operaciones de TI (Ops). El objetivo es acortar el ciclo de vida del desarrollo de sistemas y proporcionar entrega continua con alta calidad de software.

Prácticas clave:

Integración Continua (CI): Los desarrolladores integran con frecuencia sus cambios de código en un repositorio compartido.
Entrega Continua (CD): Automatización del proceso de lanzamiento para que los nuevos cambios se puedan desplegar rápida y seguramente.
Infraestructura como Código (IaC): Gestión y provisión de la infraestructura de computación a través de scripts legibles por máquinas.
Monitoreo y Registro: Supervisión del rendimiento de la aplicación y la salud del sistema.

Similitudes

Automatización: Ambos priorizan la automatización de tareas repetitivas para aumentar la eficiencia y reducir errores humanos.
Colaboración: Enfoque fuerte en la colaboración entre equipos y romper silos.
Mejora Continua: Implementación de bucles de retroalimentación para mejorar los procesos con el tiempo.

Diferencias

Área de Enfoque: DataOps se concentra en el ciclo de vida de los datos y el análisis, mientras que DevOps se centra en el desarrollo de software y las operaciones.
Herramientas: Aunque ambos pueden usar principios similares, las herramientas y tecnologías son diferentes. Las herramientas de DataOps incluyen plataformas de integración de datos, mientras que las herramientas de DevOps incluyen pipelines de CI/CD, orquestación de contenedores y más.

Mario Alexander Vargas Celis

Hace 2 años

El CI/CD (Integración Continua/Despliegue Continuo) es una práctica que automatiza los procesos de integración, pruebas y despliegue en un proyecto de software. Es fundamental para garantizar que los cambios en el código lleguen rápidamente a producción con alta calidad y confiabilidad.

1. Componentes Básicos del CI/CD

Integración Continua (CI):
- Automatiza el proceso de combinar cambios de múltiples desarrolladores en un repositorio compartido.
- Incluye:
  - Compilación del código.
  - Ejecución de pruebas unitarias y de integración.
  - Validación de estilo de código (linting).
- Herramientas: GitHub Actions, Jenkins, Travis CI, GitLab CI/CD.
Despliegue Continuo (CD):
- Automatiza el despliegue del código en entornos de prueba, staging o producción.
- CD puede dividirse en:
  - Entrega Continua: El código está listo para despliegue manual.
  - Despliegue Continuo: El despliegue se realiza automáticamente al pasar las pruebas.

2. Beneficios del CI/CD Básico

Menos errores: Detección temprana de problemas en el código.
Rápida retroalimentación: Las pruebas automáticas detectan fallos rápidamente.
Despliegues frecuentes: Facilita ciclos de desarrollo ágiles y entrega continua de valor.
Reducción de riesgos: Automatiza tareas repetitivas y minimiza errores humanos.

3. Flujo Básico de CI/CD

Commit: Un desarrollador sube cambios a un repositorio (por ejemplo, GitHub o GitLab).
Pipeline CI:
- Se activa automáticamente.
- Pasos comunes:
  - Descargar dependencias.
  - Compilar el código (si aplica).
  - Ejecutar pruebas automáticas.
  - Validar estilo de código.
Pipeline CD:
- Si el pipeline CI pasa, los cambios se despliegan:
  - En staging para pruebas adicionales.
  - En producción si es despliegue continuo.

4. Configuración Básica de un Pipeline CI/CD

Ejemplo: Configuración básica en GitHub Actions

Archivo: .github/workflows/ci.yml

name: CI/CD Pipeline

on: push: branches: - main pull_request: branches: - main

jobs: build-and-test: runs-on: ubuntu-latest steps: - name: Checkout code uses: actions/checkout@v3

- name: Set up Python uses: actions/setup-python@v3 with: python-version: '3.9'

- name: Install dependencies run: pip install -r requirements.txt

- name: Run tests run: pytest

Ejemplo: Configuración en GitLab CI/CD

Archivo: .gitlab-ci.yml

stages: - test - deploy

test: stage: test script: - pip install -r requirements.txt - pytest

deploy: stage: deploy only: - main script: - echo "Deploying to production..."

5. Herramientas Básicas de CI/CD

GitHub Actions: Integrado en GitHub, fácil de configurar.
GitLab CI/CD: Incluido en GitLab, ideal para equipos con repositorios en GitLab.
Jenkins: Popular y altamente configurable, aunque más complejo de iniciar.
Travis CI: Buena opción para proyectos open-source.
CircleCI: Plataforma moderna y fácil de usar.

6. Siguientes Pasos para Expandir CI/CD

Agregar pruebas más complejas (integración, end-to-end).
Implementar despliegues a servicios en la nube como AWS, Azure o Google Cloud.
Monitoreo y alertas para detectar problemas en producción.
Configurar revisión de código automatizada.

Este flujo básico de CI/CD puede evolucionar según las necesidades del proyecto y el equipo.

Ruben Herrera

Hace 2 años

La diferencia entre DataOps y DevOps radica en su enfoque principal:

DataOps:
- Enfocado en los datos.
- Optimiza la gestión, integración, calidad y entrega de datos en proyectos de analítica y machine learning.
- Mejora la colaboración entre científicos de datos, ingenieros de datos y analistas.
DevOps:
- Enfocado en el software.
- Automatiza y mejora la integración, entrega y despliegue continuo de aplicaciones.
- Promueve la colaboración entre desarrolladores y equipos de operaciones.

Ambos comparten principios como automatización, colaboración y mejora continua, pero su objetivo es diferente: DevOps para software, DataOps para datos.

Nicolas Leonardo Anicama Espinoza

Hace 2 años

Resumen del límite

DataOps se detiene en la entrega de datos listos y de calidad.
DevOps empieza desde la implementación y operación de software y servicios.

Ambos son complementarios y esenciales en sistemas modernos, pero su límite se basa en si el foco es datos o aplicaciones.

Daniel Alejandro Perdomo Escobar

Hace 2 años

Ambos buscan mejorar la eficiencia y la calidad, pero lo hacen en áreas diferentes:

DevOps optimiza el desarrollo y despliegue de software.
DataOps se enfoca en la entrega de datos confiables para análisis y toma de decisiones.

Introducción a la ingeniería de datos

¿Qué es ingeniería de datos? ¿Qué es Data Engineer?

Formación Integral para Data Engineers: Retos y Herramientas Esenciales

¿Cómo convertirte en Data Engineer?

¿Dónde ejercer como Data Engineer?

Tareas de Data Engineer: DataOPs

Herramientas del ciclo de DataOps

Agile en ingeniería de datos

Lenguajes de programación e ingeniería de software

¿Dónde y cómo escribir tu código en ingeniería de datos?

Automatización y scripting

Fuentes de datos: SQL, NoSQL, API y web scraping

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Automatizar los pipelines: Airflow

Containers y empaquetamiento: Docker y Kubernetes

Manejo de ambientes para datos

Testing de software y de datos

CI/CD basico

Servidores y computación en la nube para data

Reentrenamiento y control de salud de servicios

Medición de indicadores y seguimiento a proyectos

Ejerciendo como Data Engineer

Buscando Oportunidades como Data Engineer

Evolución en el rol: ganando seniority como Data Engineer

Evolución en el rol: manager, architect, pivot

Trabajando en equipo como Data Engineer

Conclusiones

Compartir con la comunidad y seguir creciendo

Completa tu guía con los retos y certifícate

CI/CD basico

Progreso del curso

Introducción a la ingeniería de datos

Herramientas del ciclo de DataOps

Ejerciendo como Data Engineer

Conclusiones

Recursos

Recursos