Formación Integral para Data Engineers: Retos y Herramientas Esenciales

Curso de Fundamentos de Ingeniería de Datos

Contenido del curso

Introducción a la ingeniería de datos

Herramientas del ciclo de DataOps

Ejerciendo como Data Engineer

Conclusiones

Tomar examen

¡Hola! Qué emoción tenerte en este curso donde comenzarás a formarte como toda una o un Data Engineer.

Durante las clases compartiré varios retos que son preguntas o actividades sencillas donde tendrás que investigar o compartir tu opinión o perspectiva. Para ello llevarás una guía de retos, un documento donde escribirás tus respuestas..

Para continuar con el curso descarga aquí la Guía de retos del Curso de Fundamentos de Ingeniería de Datos. ⬅️

En este documento responderás las preguntas y actividades de los retos que aparecen al final de cada clase. Además, al terminar cada módulo tendrás un espacio donde dejarás tus propias reflexiones sobre lo que has aprendido. Siéntete libre de investigar, buscar y escribir lo que hayas encontrado.

Bonus: anatomía Data Engineer

Las y los Data Engineer o Ingenieros de Datos se encargan de tomar los datos crudos de valor, para transformarlos y almacenarlos en bases de datos de analítica y disponibilizarlos a software que funciona en sistemas de producción. Para ello crean pipelines ETL y utilizan bases de datos especializadas, con los que abastecen de datos a los demás roles de un equipo de data y a sistemas de software que funcionan con datos y machine learning.

Recuerda esto que es la base de la definición de un Data Engineer. Descarga la infografía de su anatomía para que te empieces a familiarizar en el perfil en el que te convertirás. 💪🏽

Al terminar el curso comparte todos tus aprendizajes en los comentarios de la clase final. Así podrás intercambiar ideas y soluciones con toda la comunidad de data de Platzi. 🙌🏽

Formación Integral para Data Engineers: Retos y Herramientas Esenciales

Diego Andrés Díaz Gómez

Estudiante

ETL (Extracción, Transformación y Carga): Es un proceso en ingeniería de datos que consiste en extraer datos de múltiples fuentes, transformarlos para que sean limpios, consistentes y adecuados para su análisis, y finalmente cargarlos en un sistema de destino como un data warehouse o data lake. Es fundamental para integrar y preparar datos para posteriores análisis y toma de decisiones.

Data lake: Es un repositorio de almacenamiento que permite guardar grandes volúmenes de datos en su formato original, ya sean estructurados, semi-estructurados o no estructurados. Los data lakes permiten almacenar datos sin necesidad de procesarlos o transformarlos antes, facilitando su uso en análisis avanzados y machine learning.

Data warehouse (almacén de datos): Es una base de datos organizada y optimizada para la consulta y el análisis de grandes volúmenes de datos estructurados, que han sido previamente procesados y limpiados. Los data warehouses soportan inteligencia empresarial y reporting, y suelen recibir datos mediante procesos ETL.

Pipeline de datos: Es un conjunto automatizado de procesos que mueven y transforman datos desde sus fuentes hasta su destino final para su almacenamiento o análisis. Incluye etapas como extracción, transformación, carga, validación y monitoreo. Los pipelines ETL son un tipo específico de pipeline de datos enfocados en las fases de extracción, transformación y carga.

Herramientas de Apache:

Apache Airflow es una plataforma de código abierto que se utiliza para la orquestación y automatización de flujos de trabajo en la ingeniería de datos. Su principal función es programar, ejecutar y monitorear pipelines o cadenas de tareas, donde cada tarea puede depender de la finalización exitosa de otra. Por ejemplo, permite automatizar procesos ETL (extracción, transformación, carga), asegurando que cada paso se ejecute en el orden correcto, maneje errores y facilite la supervisión centralizada. Airflow usa gráficos dirigidos acíclicos (DAGs) para definir estos flujos de trabajo y está basado en Python, lo que facilita su programación y extensión.
Apache Spark, por otro lado, es un motor de procesamiento de datos en memoria diseñado para grandes volúmenes de datos, capaz de realizar análisis rápidos y procesamiento distribuido. Spark soporta diversas tareas como procesamiento en batch, procesamiento en tiempo real, análisis SQL, machine learning y procesamiento de grafos. Es muy utilizado para transformar y analizar datos a gran escala con alta velocidad y eficiencia, siendo clave en entornos de big data.

Esther Janeth Machado Valenzuela

Ricardo Alanis

Profesor

Luis Jacobo Hernandez Campuzano

Fernando Orozco Velasquez

Pedro Oria

Pablo Rivera

Julian Castro Pulgarin

Patricio Sánchez Fernández

Andres Velasquez

Luis Alfredo Villalta López

Nathaly Johanna Rodriguez Triana

William Alberto Paternina Romo

Daniel Alfredo Castro Velásquez

Andrés González

Edward Franz Zevallos Horna

Nestor Antonio Pineda Otero

Miguel Angel Reyes Moreno

Jennifer Tatiana Castillo

Daniel Avila Cardenas

Karina Cordoba

Camilo Alberto Velasquez Velez

Ana Maria Palacios Sepulveda

Formación Integral para Data Engineers: Retos y Herramientas Esenciales

Introducción a la ingeniería de datos

¿Qué es ingeniería de datos? ¿Qué es Data Engineer?