CI/CD basico

Cursos Empresas Blog Live Conf Precios

Contenido del curso

Introducción a la ingeniería de datos

Herramientas del ciclo de DataOps

Ejerciendo como Data Engineer

Conclusiones

Tomar examen

CI/CD basico

Comentarios

Cesar E. Tang

Estudiante

DevOps esta enfocado en el ciclo de desarrollo de software y el proceso de despliegue de codigo a produccion. Mientras que DataOps esta enfocado en el ciclo de vida de los datos, se usa para garantizar la calidad de los datos y mejorar la velocidad en que estos son entregados.

Ricardo Alanis

Profesor

Así es. Filosofías muy importantes para sostener código

Wagner Fernández

Estudiante

Muy buen aporte.

Andres Cervantes

Estudiante

DevOps y DataOps: Buscan mejorar la eficiencia y la calidad del trabajo

DevOps y DataOps son dos metodologías diferentes que buscan mejorar la eficiencia y la calidad del trabajo en la gestión de software y datos, respectivamente. Aunque tienen objetivos diferentes, ambos se centran en la automatización, la colaboración y la mejora continua.

A continuación, se detallan las diferencias, similitudes y límites de ambas metodologías:

Diferencias:

DevOps se enfoca en la automatización del ciclo de vida del software, desde el desarrollo hasta la implementación y operación, mientras que DataOps se centra en la automatización del ciclo de vida de los datos, desde la adquisición hasta el análisis y la entrega.

DevOps busca mejorar la integración y la colaboración entre los equipos de desarrollo y operaciones, mientras que DataOps se enfoca en la colaboración entre los equipos de datos y de negocio. DevOps busca aumentar la velocidad y la calidad de la entrega de software, mientras que DataOps busca mejorar la calidad y la agilidad en la gestión de datos.

Similitudes:

Ambas metodologías se basan en la automatización y la mejora continua para mejorar la eficiencia y la calidad del trabajo. Ambas fomentan la colaboración y la integración entre los equipos de trabajo para lograr sus objetivos. Ambas buscan una entrega más rápida y eficiente de sus respectivos productos, ya sea software o datos.

Límites:

DevOps no se centra en la gestión de datos y su calidad, mientras que DataOps no se enfoca en el ciclo de vida completo del software.

Cada metodología tiene un conjunto diferente de herramientas y prácticas que no son necesariamente aplicables a la otra. Ambas metodologías pueden ser difíciles de implementar en organizaciones con culturas y estructuras resistentes al cambio.

5 herramientas para DevOps y DataOps:

Herramientas de DevOps:

Jenkins: es una herramienta de automatización de código abierto que permite la integración continua y la entrega continua de software.
Docker: es una plataforma de contenedores que permite la creación, distribución y ejecución de aplicaciones en cualquier entorno.
Ansible: es una herramienta de automatización de TI que permite la configuración, gestión y orquestación de sistemas y aplicaciones.
GitLab: es una herramienta de gestión de repositorios de código que permite la colaboración y el seguimiento del ciclo de vida del software.
Kubernetes: es una plataforma de orquestación de contenedores que permite la gestión y escalabilidad de aplicaciones en contenedores.

Herramientas de DataOps:

Airflow: es una plataforma de orquestación de flujo de trabajo de código abierto que permite la automatización de procesos de datos.
Databricks: es una plataforma de análisis de datos que permite la integración de diversas herramientas y la colaboración entre equipos.
Apache Kafka: es una plataforma de streaming de datos que permite el procesamiento y la entrega de datos en tiempo real.
Talend: es una herramienta de integración de datos que permite la extracción, transformación y carga de datos de diversas fuentes.
Snowflake: es una plataforma de almacenamiento de datos en la nube que permite el análisis y la gestión de datos de manera segura y escalable.

Ricardo Alanis

Profesor

Gracias por compartirlo!

Pedro Oria

Estudiante

Gran aporte gracias!

Jerald Jeanphierre Espinoza Flores

Estudiante

La metodología DataOps se basa en tres pilares principales: colaboración, automatización y medición.

++Colaboración++: DataOps fomenta la colaboración entre los equipos de TI y los equipos de negocios, con el objetivo de crear un flujo de trabajo sincronizado y una comunicación efectiva.
++Automatización++: DataOps se basa en la automatización de los procesos relacionados con el manejo de datos, incluyendo la integración, la limpieza, la validación, el almacenamiento y la gestión de metadatos.
++Medición++: DataOps utiliza métricas para medir el rendimiento y la calidad de los datos, con el objetivo de identificar problemas y mejorar continuamente el rendimiento de los procesos de manejo de datos.

Ian Cristian Ariel Yané

Estudiante

Mientras que devops se enfoca en un conjunto de practicas mas generales.

Ricardo Alanis

Profesor

Gracias por compartir!!

Bryan Carvajal

Estudiante

CI: Continous Integratation

CD: Continous Delivery

Ricardo Alanis

Profesor

Gracias por contribuir!

Pablo .

Estudiante

Devops el equipo se focaliza en el ++desarrollo de aplicaciones++, mientras que DataOps el objetivo se centra en ++reducir los tiempos en el ciclo de análisis de datos++, desde su obtención hasta su análisis y visualización. (ref)
Imagen: HubSpot (Diferencia entre DataOps y DevOps)

Ricardo Alanis

Profesor

Gracias por compartir!

Andres Felipe Diaz Bolaños

Estudiante

Me parece interesante este articulo sobre la diferencia entre DataOps y DevOps: https://devops.com/dataops-vs-devops-whats-the-difference/

Ricardo Alanis

Profesor

Gracias por compartir, agregar los componentes de proceso, de manejo de datos, son diferenciadores importantisimos!

Daviel Antonio Jiménez Comas

Estudiante

Mi resumen de la clase:

Debemos de hacer integraciones continuas o entregas continuas y esta muy asociado a DevOps, es bueno conocerlo, pero habrá expertos en esto. DevOps está enfocado en el ciclo de desarrollo de software y el proceso de despliegue de Código a producción. Mientras que DataOps está enfocado en el ciclo de vida de los datos, se usa para garantizar la calidad de los datos y mejorar la velocidad en que estos son entregados.

Ricardo Alanis

Profesor

Eiraliza Jiménez

Estudiante

🔹 DevOps

Enfoque: Desarrollo y operaciones de software.
Objetivo: Reducir el tiempo entre escribir código y ponerlo en producción, asegurando calidad y estabilidad.
Claves:
- Integración continua (CI) y entrega continua (CD).
- Automatización de pruebas, despliegues y monitoreo.
- Colaboración entre desarrolladores y equipos de operaciones.
Ejemplo: Una app bancaria se actualiza cada semana con nuevas funcionalidades gracias a pipelines automatizados.

🔹 DataOps

Enfoque: Ciclo de vida de los datos y analítica.
Objetivo: Asegurar que los datos fluyan de forma confiable, segura y ágil desde la captura hasta el análisis, mejorando la calidad y valor de la información.
Claves:
- Automatización en ingestión, transformación y validación de datos.
- Gobernanza y calidad de datos (lineage, catalogación, auditoría).
- Integración de equipos de datos: ingenieros, científicos, analistas y negocio.
Ejemplo: Un Data Warehouse bancario que recibe millones de transacciones diarias, donde DataOps garantiza que la data llegue limpia y a tiempo para reportes y modelos de riesgo.

🚀 Diferencia principal

DevOps = código → busca entregar software más rápido y confiable.
DataOps = datos → busca entregar datos confiables y útiles para la analítica y la toma de decisiones.

Wilmer Diaz

Estudiante

Extra: Hoy en día a tomado fuerza Github Actions para flujos de CI/CD.

Ricardo Alanis

Profesor

Totalmente! Una alternativa presente.

Ana Giraldo

Estudiante

El límite entre DataOps y DevOps está en su objeto de automatización y optimización:

DevOps mejora el desarrollo y despliegue de software.

DataOps mejora la entrega, calidad y confiabilidad de los datos.

Ambos pueden convivir en una organización moderna y, de hecho, se integran cada vez más en entornos de data-driven development

Janett Venegas Martínez

Estudiante

Mientras que DevOps optimiza el flujo de código hacia producción, DataOps se obsesiona con la calidad y el linaje de los datos que alimentan ese código.

Kevin Acevedo

Estudiante

DevOps y DataOps son homólogos; DevOps enfocándose más en todo el proceso de pre, post y despliegue de software general y DataOps al software enfocado estrictamente en los datos.

William Andres Salcedo Coronado

Estudiante

Devops trabaja con codigo de aplicaciones principalmente.

Dataops trabaja principalmente con datos y procesos de datos

Alfredo Olmedo

Estudiante

DataOps vs DevOps

DataOps

Enfoque: DataOps, abreviatura de Operaciones de Datos, se centra en la creación, implementación y mejora continua de los pipelines de análisis de datos. Se trata de asegurar la calidad, gobernanza y gestión de los datos.

Prácticas clave:

Automatización de Pipelines de Datos: Simplificación del proceso de mover datos de la fuente al destino.
Colaboración: Fomentar la cooperación sin problemas entre ingenieros de datos, analistas y otras partes interesadas.
Control de Versiones: Seguimiento de las transformaciones de datos y aseguramiento de la reproducibilidad.
Monitoreo y Pruebas: Verificación constante de los pipelines de datos para garantizar calidad y precisión.

DevOps

Enfoque: DevOps, abreviatura de Desarrollo y Operaciones, tiene como objetivo integrar y automatizar el desarrollo de software (Dev) y las operaciones de TI (Ops). El objetivo es acortar el ciclo de vida del desarrollo de sistemas y proporcionar entrega continua con alta calidad de software.

Prácticas clave:

Integración Continua (CI): Los desarrolladores integran con frecuencia sus cambios de código en un repositorio compartido.
Entrega Continua (CD): Automatización del proceso de lanzamiento para que los nuevos cambios se puedan desplegar rápida y seguramente.
Infraestructura como Código (IaC): Gestión y provisión de la infraestructura de computación a través de scripts legibles por máquinas.
Monitoreo y Registro: Supervisión del rendimiento de la aplicación y la salud del sistema.

Similitudes

Automatización: Ambos priorizan la automatización de tareas repetitivas para aumentar la eficiencia y reducir errores humanos.
Colaboración: Enfoque fuerte en la colaboración entre equipos y romper silos.
Mejora Continua: Implementación de bucles de retroalimentación para mejorar los procesos con el tiempo.

Diferencias

Área de Enfoque: DataOps se concentra en el ciclo de vida de los datos y el análisis, mientras que DevOps se centra en el desarrollo de software y las operaciones.
Herramientas: Aunque ambos pueden usar principios similares, las herramientas y tecnologías son diferentes. Las herramientas de DataOps incluyen plataformas de integración de datos, mientras que las herramientas de DevOps incluyen pipelines de CI/CD, orquestación de contenedores y más.

Mario Alexander Vargas Celis

Estudiante

El CI/CD (Integración Continua/Despliegue Continuo) es una práctica que automatiza los procesos de integración, pruebas y despliegue en un proyecto de software. Es fundamental para garantizar que los cambios en el código lleguen rápidamente a producción con alta calidad y confiabilidad.

1. Componentes Básicos del CI/CD

Integración Continua (CI):
- Automatiza el proceso de combinar cambios de múltiples desarrolladores en un repositorio compartido.
- Incluye:
  - Compilación del código.
  - Ejecución de pruebas unitarias y de integración.
  - Validación de estilo de código (linting).
- Herramientas: GitHub Actions, Jenkins, Travis CI, GitLab CI/CD.
Despliegue Continuo (CD):
- Automatiza el despliegue del código en entornos de prueba, staging o producción.
- CD puede dividirse en:
  - Entrega Continua: El código está listo para despliegue manual.
  - Despliegue Continuo: El despliegue se realiza automáticamente al pasar las pruebas.

2. Beneficios del CI/CD Básico

Menos errores: Detección temprana de problemas en el código.
Rápida retroalimentación: Las pruebas automáticas detectan fallos rápidamente.
Despliegues frecuentes: Facilita ciclos de desarrollo ágiles y entrega continua de valor.
Reducción de riesgos: Automatiza tareas repetitivas y minimiza errores humanos.

3. Flujo Básico de CI/CD

Commit: Un desarrollador sube cambios a un repositorio (por ejemplo, GitHub o GitLab).
Pipeline CI:
- Se activa automáticamente.
- Pasos comunes:
  - Descargar dependencias.
  - Compilar el código (si aplica).
  - Ejecutar pruebas automáticas.
  - Validar estilo de código.
Pipeline CD:
- Si el pipeline CI pasa, los cambios se despliegan:
  - En staging para pruebas adicionales.
  - En producción si es despliegue continuo.

4. Configuración Básica de un Pipeline CI/CD

Ejemplo: Configuración básica en GitHub Actions

Archivo: .github/workflows/ci.yml

name: CI/CD Pipeline

on: push: branches: - main pull_request: branches: - main

jobs: build-and-test: runs-on: ubuntu-latest steps: - name: Checkout code uses: actions/checkout@v3

- name: Set up Python uses: actions/setup-python@v3 with: python-version: '3.9'

- name: Install dependencies run: pip install -r requirements.txt

- name: Run tests run: pytest

Ejemplo: Configuración en GitLab CI/CD

Archivo: .gitlab-ci.yml

stages: - test - deploy

test: stage: test script: - pip install -r requirements.txt - pytest

deploy: stage: deploy only: - main script: - echo "Deploying to production..."

5. Herramientas Básicas de CI/CD

GitHub Actions: Integrado en GitHub, fácil de configurar.
GitLab CI/CD: Incluido en GitLab, ideal para equipos con repositorios en GitLab.
Jenkins: Popular y altamente configurable, aunque más complejo de iniciar.
Travis CI: Buena opción para proyectos open-source.
CircleCI: Plataforma moderna y fácil de usar.

6. Siguientes Pasos para Expandir CI/CD

Agregar pruebas más complejas (integración, end-to-end).
Implementar despliegues a servicios en la nube como AWS, Azure o Google Cloud.
Monitoreo y alertas para detectar problemas en producción.
Configurar revisión de código automatizada.

Este flujo básico de CI/CD puede evolucionar según las necesidades del proyecto y el equipo.

Ruben Herrera

Estudiante

La diferencia entre DataOps y DevOps radica en su enfoque principal:

DataOps:
- Enfocado en los datos.
- Optimiza la gestión, integración, calidad y entrega de datos en proyectos de analítica y machine learning.
- Mejora la colaboración entre científicos de datos, ingenieros de datos y analistas.
DevOps:
- Enfocado en el software.
- Automatiza y mejora la integración, entrega y despliegue continuo de aplicaciones.
- Promueve la colaboración entre desarrolladores y equipos de operaciones.

Ambos comparten principios como automatización, colaboración y mejora continua, pero su objetivo es diferente: DevOps para software, DataOps para datos.

Nicolas Leonardo Anicama Espinoza

Estudiante

Resumen del límite

DataOps se detiene en la entrega de datos listos y de calidad.
DevOps empieza desde la implementación y operación de software y servicios.

Ambos son complementarios y esenciales en sistemas modernos, pero su límite se basa en si el foco es datos o aplicaciones.

Daniel Alejandro Perdomo Escobar

Estudiante

Ambos buscan mejorar la eficiencia y la calidad, pero lo hacen en áreas diferentes:

DevOps optimiza el desarrollo y despliegue de software.
DataOps se enfoca en la entrega de datos confiables para análisis y toma de decisiones.

Cesar Andree Quispe Vicente

Estudiante

Una consulta. soy nuevo en platzi. en el inicio del curso dice "8 horas de practica". ¿donde puedo encontrar esas horas de practica? estoy buscando y solo veo la parte teorica

Cristian Camilo Quinche Vélez

Estudiante

Cuando se habla de devops se entiende que busca agilizar el proceso de entrega de software con calidad y dataops busca optimizar la gestión y analisis de los datos. Frente a los límites, leí que dataops se puede incluso considerar una evolución de devops y es vital para las empresas que tengan gran dependencia a grandes volúmenes de datos, frente a devops que se entiende que es como más general, ya que todos los proyectos de software deben aplicarlo.

Introducción a la ingeniería de datos

¿Qué es ingeniería de datos? ¿Qué es Data Engineer?

Formación Integral para Data Engineers: Retos y Herramientas Esenciales

¿Cómo convertirte en Data Engineer?

¿Dónde ejercer como Data Engineer?

Tareas de Data Engineer: DataOPs

Herramientas del ciclo de DataOps

Agile en ingeniería de datos

Lenguajes de programación e ingeniería de software

¿Dónde y cómo escribir tu código en ingeniería de datos?

Automatización y scripting

Fuentes de datos: SQL, NoSQL, API y web scraping

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Automatizar los pipelines: Airflow

Containers y empaquetamiento: Docker y Kubernetes

Manejo de ambientes para datos

Testing de software y de datos

CI/CD basico

Servidores y computación en la nube para data

Reentrenamiento y control de salud de servicios

Medición de indicadores y seguimiento a proyectos

Ejerciendo como Data Engineer

Buscando Oportunidades como Data Engineer

Evolución en el rol: ganando seniority como Data Engineer

Evolución en el rol: manager, architect, pivot

Trabajando en equipo como Data Engineer

Conclusiones

Compartir con la comunidad y seguir creciendo

Completa tu guía con los retos y certifícate