Formación Integral para Data Engineers: Retos y Herramientas Esenciales

Clase 2 de 25 • Curso de Fundamentos de Ingeniería de Datos

¡Hola! Qué emoción tenerte en este curso donde comenzarás a formarte como toda una o un Data Engineer.

Durante las clases compartiré varios retos que son preguntas o actividades sencillas donde tendrás que investigar o compartir tu opinión o perspectiva. Para ello llevarás una guía de retos, un documento donde escribirás tus respuestas..

Para continuar con el curso descarga aquí la Guía de retos del Curso de Fundamentos de Ingeniería de Datos. ⬅️

En este documento responderás las preguntas y actividades de los retos que aparecen al final de cada clase. Además, al terminar cada módulo tendrás un espacio donde dejarás tus propias reflexiones sobre lo que has aprendido. Siéntete libre de investigar, buscar y escribir lo que hayas encontrado.

Bonus: anatomía Data Engineer

Las y los Data Engineer o Ingenieros de Datos se encargan de tomar los datos crudos de valor, para transformarlos y almacenarlos en bases de datos de analítica y disponibilizarlos a software que funciona en sistemas de producción. Para ello crean pipelines ETL y utilizan bases de datos especializadas, con los que abastecen de datos a los demás roles de un equipo de data y a sistemas de software que funcionan con datos y machine learning.

Recuerda esto que es la base de la definición de un Data Engineer. Descarga la infografía de su anatomía para que te empieces a familiarizar en el perfil en el que te convertirás. 💪🏽

Al terminar el curso comparte todos tus aprendizajes en los comentarios de la clase final. Así podrás intercambiar ideas y soluciones con toda la comunidad de data de Platzi. 🙌🏽

Comentarios

Esther Janeth Machado Valenzuela

student•

Genial, me gusta la idea de reforzar lo aprendido con retos.

Ricardo Alanis

teacher•

Chi

Luis Jacobo Hernandez Campuzano

student•

Muy buena idea el incluir retos.

Fernando Orozco Velasquez

student•

Esto fue lo que encontré sobre los conceptos de la imagen, espero sea útil :D

Pipeline de Datos: Una pipeline de datos es una construcción lógica que representa un proceso dividido en fases. Las pipelines de datos se caracterizan por definir el conjunto de pasos o fases y las tecnologías involucradas en un proceso de movimiento o procesamiento de datos. Las pipelines de datos son necesarias ya que no debemos analizar los datos en los mismos sistemas donde se crean.
Data Warehouse: Un Data Warehouse es un almacén electrónico donde generalmente una empresa u organización mantiene una gran cantidad de información. Los datos de un data warehouse deben almacenarse de forma segura, fiable, fácil de recuperar y fácil de administrar.
Data Lake: Es un sistema o biblioteca de datos almacenados en su formato bruto, usualmente blobs o ficheros
ETL: es el proceso que permite a las organizaciones mover datos desde múltiples fuentes, reformatearlos y limpiarlos, y cargarlos en otra base de datos, data mart, o data warehouse para analizar, o en otro sistema operacional para apoyar un proceso de negocio.

Ricardo Alanis

teacher•

<3 muchas gracias por compartir!!

Pedro Oria

student•

Gracias por el aporte 😉

Pablo Rivera

student•

VOCABULARIO

ETL: (Extract, Transform, Load)
Data lake: (se refiere a un sistema de almacenamiento centralizado que permite almacenar grandes cantidades de datos en bruto, en su formato nativo, sin necesidad de estructurarlos previamente)
Pipeline de datos: (un pipeline de datos simplifica y automatiza el flujo de datos, desde su origen hasta su destino, garantizando la coherencia y la calidad a lo largo de todo el proceso.)
Data Warehouse:(es un sistema de almacenamiento centralizado y optimizado para el análisis y la consulta eficiente de grandes volúmenes de datos.)

Programación con Python y bases solidas de ingeniería de Software
Manejo de datos estructurados y no estructurados
Computo, almacenamiento y bases de datos en la nube
ETL con herramientas como SQL, Apache Spark y airflow
1. Apache Airflow: es una plataforma de orquestación de código abierto diseñada para programar, monitorear y gestionar flujos de trabajo (workflows) de datos
2. Apache Spark: es un framework de procesamiento de datos de código abierto diseñado para el procesamiento distribuido y rápido de grandes conjuntos de datos

Ricardo Alanis

teacher•

Julian Castro Pulgarin

student•

Cool! Me gusta esta metodologia de los ultimos cursos de Platzi, más interactivos y que te incita a expandir el concoimiento que te da el curso 0.0

Ricardo Alanis

teacher•

<3 gracias por seguir este curso, Julián!

Patricio Sánchez Fernández

student•

Muy instructiva la infografía. El Data Engineer es todo un Rambo de la data.

Andres Velasquez

student•

Los retos desarrollan habilidades. Excelente comienzo de curso!

Ricardo Alanis

teacher•

Exactamente!!

William Alberto Paternina Romo

student•

Usualmente me dedico al desarrollo de software y quiero darle otro enfoque a mi perfil profesional, ya que creo que la ingeniería de datos es parte del futuro.

Daniel Alfredo Castro Velásquez

student•

Un data lake es un repositorio de almacenamiento que permite guardar grandes volúmenes de datos en su forma original, sin necesidad de estructurarlos previamente. Esto facilita la ingesta de datos provenientes de diversas fuentes, como bases de datos, archivos y aplicaciones.

Un pipeline de datos, por otro lado, es un conjunto de procesos que permite mover, transformar y cargar datos desde su origen hasta el destino, como un data warehouse o un data lake. Este proceso incluye etapas de extracción, transformación y carga (ETL).

Ambos conceptos son fundamentales en la ingeniería de datos, ya que permiten gestionar y analizar grandes volúmenes de información de manera eficiente.

Diego Andrés Díaz Gómez

student•

ETL (Extracción, Transformación y Carga): Es un proceso en ingeniería de datos que consiste en extraer datos de múltiples fuentes, transformarlos para que sean limpios, consistentes y adecuados para su análisis, y finalmente cargarlos en un sistema de destino como un data warehouse o data lake. Es fundamental para integrar y preparar datos para posteriores análisis y toma de decisiones.

Data lake: Es un repositorio de almacenamiento que permite guardar grandes volúmenes de datos en su formato original, ya sean estructurados, semi-estructurados o no estructurados. Los data lakes permiten almacenar datos sin necesidad de procesarlos o transformarlos antes, facilitando su uso en análisis avanzados y machine learning.

Data warehouse (almacén de datos): Es una base de datos organizada y optimizada para la consulta y el análisis de grandes volúmenes de datos estructurados, que han sido previamente procesados y limpiados. Los data warehouses soportan inteligencia empresarial y reporting, y suelen recibir datos mediante procesos ETL.

Pipeline de datos: Es un conjunto automatizado de procesos que mueven y transforman datos desde sus fuentes hasta su destino final para su almacenamiento o análisis. Incluye etapas como extracción, transformación, carga, validación y monitoreo. Los pipelines ETL son un tipo específico de pipeline de datos enfocados en las fases de extracción, transformación y carga.

Herramientas de Apache:

Apache Airflow es una plataforma de código abierto que se utiliza para la orquestación y automatización de flujos de trabajo en la ingeniería de datos. Su principal función es programar, ejecutar y monitorear pipelines o cadenas de tareas, donde cada tarea puede depender de la finalización exitosa de otra. Por ejemplo, permite automatizar procesos ETL (extracción, transformación, carga), asegurando que cada paso se ejecute en el orden correcto, maneje errores y facilite la supervisión centralizada. Airflow usa gráficos dirigidos acíclicos (DAGs) para definir estos flujos de trabajo y está basado en Python, lo que facilita su programación y extensión.
Apache Spark, por otro lado, es un motor de procesamiento de datos en memoria diseñado para grandes volúmenes de datos, capaz de realizar análisis rápidos y procesamiento distribuido. Spark soporta diversas tareas como procesamiento en batch, procesamiento en tiempo real, análisis SQL, machine learning y procesamiento de grafos. Es muy utilizado para transformar y analizar datos a gran escala con alta velocidad y eficiencia, siendo clave en entornos de big data.

Andrés González

student•

Lo que más me gusta de la ingeniería de datos es que es una profesión donde después de dominar la parte técnica se debe pensar para transformar los datos en información útil para la sociedad y se puede aplicar en cualquier área. esto está emocionante

Edward Franz Zevallos Horna

student•

UN nuevo vocabulario en esta travesía: pipeline de datos es un conjunto de pasos y procesos secuenciales diseñados para mover, transformar y procesar datos de manera automatizada desde una fuente hasta un destino final. Es una estructura que permite la orquestación y ejecución ordenada de diversas tareas relacionadas con el flujo de datos ETL: ETC(EXTRACT, TRANSFORM Y LOAD) **DATALAKE: **Es un repositorio centralizado y escalable que almacena grandes volúmenes de datos en su forma original y sin procesar. data warehouse se centra en el análisis a gran escala y la generación de informes utilizando datos consolidados de diversas fuentes. El data warehouse está diseñado para facilitar el análisis empresarial y proporcionar una vista unificada de los datos para una toma de decisiones informada.

Ricardo Alanis

teacher•

Gracias por compartir!

Nestor Antonio Pineda Otero

student•

Reto aceptado.

Ricardo Alanis

teacher•

Vamos para adelante!

Miguel Angel Reyes Moreno

student•

El obstáculo es el camino

Ricardo Alanis

teacher•

Vamos con todo!

Jennifer Tatiana Castillo

student•

¿Dónde encaja esto en el machine learning?

El trabajo de ingeniería de datos es el cimiento invisible que hace posible la inteligencia artificial. Un modelo de Machine Learning es como un motor de alto rendimiento de un auto de Fórmula 1: por más avanzado que sea, si le inyectas combustible contaminado o de baja calidad, el motor fallará. Los ingenieros de datos construyen las tuberías que garantizan un flujo constante, limpio y estructurado de ese combustible. Sin una arquitectura sólida que recolecte, limpie y disponibilice la información, los científicos de datos pasarían el 80% de su tiempo limpiando archivos CSV manualmente. Al automatizar este proceso, permites que los algoritmos se entrenen con información fresca y precisa.

Daniel Avila Cardenas

student•

Un pipeline de datos es una secuencia de pasos ordenados que gestionan el flujo de datos:

Ingesta: Captura de datos desde múltiples fuentes (bases de datos, APIs, archivos, sensores, etc.).
Transformación: Limpieza, normalización, filtrado, enmascaramiento, agregación o enriquecimiento de los datos.
Carga: Almacenamiento en un destino como un data warehouse, data lake o sistemas analíticos.

Karina Cordoba

student•

La infografía ofrece una representación clara y atractiva de las habilidades, conocimientos y características que definen este rol. Su diseño visual es llamativo y organizado, lo que facilita la comprensión de conceptos clave como ETL, data lakes, pipelines de datos y data warehouses. Además, integra de manera equilibrada tanto aspectos técnicos —como programación en Python, manejo de datos estructurados y no estructurados, y el uso de herramientas como SQL, Apache Spark y Airflow— como aspectos humanos, destacando la pasión por la automatización y la confianza en el análisis de datos.

Camilo Alberto Velasquez Velez

student•

me puse a averiguar mas que todo con gemini que era cada concepto como para tener algo previo de conocimiento y me di cuenta que ya había aplicado varios de los conceptos como backend y líder de integraciones. pero no los tenia formalizados. lo que aprendí en pocas palabras es Data Lake: donde esta almacenado los datos en bruto Pipeline de datos: la linea de procesamiento que se le hace a una fuente de datos(data lake) para que sean utiles y se convierta en informacion

Data warehouse: es el almacén donde ya se guarda la informacion.

ETL: es muy auto explicativo a mi parecer Extract, Transform and Load data

claro eso es lo que entendi. y son explicaciones muy superficiales. si directamente me equivoco pls corregirme que para eso comento xD jijiji

Ana Maria Palacios Sepulveda

student•

Los "pipelines" o "canales de procesamiento" son secuencias de pasos que permiten mover y transformar datos desde su origen hasta su destino final, usualmente en el contexto de procesos ETL (Extracción, Transformación y Carga). En ingeniería de datos, son fundamentales para gestionar grandes volúmenes de datos, facilitando la automatización y la eficiencia en la manipulación de información. Como futuro Data Engineer, dominar esta herramienta te ayudará a optimizar el flujo de datos en tus proyectos.

Cristian Leonardo Sulca M

student•

El pilar fundamental para aprender ingeniería de datos es comprender cómo gestionar y transformar grandes volúmenes de datos de manera eficiente. Esto incluye entender el uso de herramientas como Apache Spark para procesamiento de datos y Airflow para la automatización de flujos de trabajo. Además, es crucial familiarizarse con la creación de pipelines ETL y el almacenamiento de datos en bases de datos analíticas. La práctica continua y la participación en proyectos reales son esenciales para consolidar este conocimiento.

Danilo Ernesto Montoya López

student•

Me gustaría saber de una definición clara y ejemplos de los roles entre la ciencia de datos, la ingeniería de datos y el análisis de datos?

Ricardo Alanis

teacher•

Claro, aqui te lo dejo:

Ciencia de datos: Es el proceso de extraer conocimiento y discernimiento de datos, usando estadísticas avanzadas y aprendizaje automático. Ejemplo: Crear un modelo predictivo para pronosticar ventas.

Ingeniería de datos: Se enfoca en la construcción y mantenimiento de la infraestructura para la gestión y procesamiento de grandes volúmenes de datos. Ejemplo: Diseñar y optimizar una base de datos.

Análisis de datos: Implica interpretar y visualizar datos para informar decisiones empresariales. Ejemplo: Generar informes de tendencias de mercado a partir de datos de ventas.

Formación Integral para Data Engineers: Retos y Herramientas Esenciales

Introducción a la ingeniería de datos

¿Qué es ingeniería de datos? ¿Qué es Data Engineer?

Formación Integral para Data Engineers: Retos y Herramientas Esenciales

¿Cómo convertirte en Data Engineer?

¿Dónde ejercer como Data Engineer?

Tareas de Data Engineer: DataOPs

Herramientas del ciclo de DataOps

Agile en ingeniería de datos

Lenguajes de programación e ingeniería de software

¿Dónde y cómo escribir tu código en ingeniería de datos?

Automatización y scripting

Fuentes de datos: SQL, NoSQL, API y web scraping

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Automatizar los pipelines: Airflow

Containers y empaquetamiento: Docker y Kubernetes

Manejo de ambientes para datos

Testing de software y de datos

CI/CD basico

Servidores y computación en la nube para data

Reentrenamiento y control de salud de servicios

Medición de indicadores y seguimiento a proyectos

Ejerciendo como Data Engineer

Buscando Oportunidades como Data Engineer

Evolución en el rol: ganando seniority como Data Engineer

Evolución en el rol: manager, architect, pivot

Trabajando en equipo como Data Engineer

Conclusiones

Compartir con la comunidad y seguir creciendo

Completa tu guía con los retos y certifícate