Reentrenamiento y control de salud de servicios

Curso de Fundamentos de Ingeniería de Datos

Contenido del curso

Introducción a la ingeniería de datos

Herramientas del ciclo de DataOps

Ejerciendo como Data Engineer

Conclusiones

Tomar examen

Reentrenamiento y control de salud de servicios

Alfredo Olmedo

Estudiante

Data Engineer

Rol Principal: Los Data Engineers son responsables de diseñar, construir y gestionar las infraestructuras de datos. Se aseguran de que los datos estén disponibles y sean de alta calidad para los análisis y aplicaciones.

Responsabilidades:

Diseño y Desarrollo de Pipelines de Datos: Crear y mantener sistemas que recojan, transformen y almacenen datos.
Integración de Datos: Unir datos de diferentes fuentes y asegurar su calidad y consistencia.
Optimización del Rendimiento: Mejorar la eficiencia de los sistemas de procesamiento de datos.
Gestión de Bases de Datos: Administrar y asegurar la infraestructura de bases de datos.

Habilidades Clave:

Conocimiento en herramientas como Apache Hadoop, Apache Spark, y bases de datos como SQL y NoSQL.
Habilidades en programación (Python, Java, SQL).
Comprensión de arquitecturas de datos y ETL (Extracción, Transformación, Carga).

ML Engineer (Ingeniero de Aprendizaje Automático)

Rol Principal: Los ML Engineers se enfocan en la implementación y mantenimiento de modelos de aprendizaje automático. Se centran en la integración de estos modelos en sistemas de producción.

Responsabilidades:

Desarrollo de Modelos: Crear y entrenar modelos de aprendizaje automático basados en datos.
Implementación y Despliegue: Integrar modelos en aplicaciones y sistemas productivos.
Optimización de Modelos: Mejorar la precisión, eficiencia y rendimiento de los modelos.
Monitorización y Mantenimiento: Asegurar que los modelos funcionen correctamente y se adapten a los cambios en los datos.

Habilidades Clave:

Conocimiento en algoritmos de aprendizaje automático y técnicas de modelado.
Competencia en programación (Python, R) y herramientas de ML (TensorFlow, PyTorch).
Experiencia en técnicas de evaluación y validación de modelos.

Similitudes

Programación: Ambos roles requieren habilidades de programación, aunque los lenguajes y herramientas pueden diferir.
Colaboración: Trabajan en equipo con analistas de datos, científicos de datos y otros ingenieros.
Manipulación de Datos: Ambos necesitan manejar y procesar grandes volúmenes de datos.

Diferencias

Enfoque en Datos vs. Modelos: Los Data Engineers se centran más en la infraestructura y calidad de los datos, mientras que los ML Engineers se enfocan en los modelos y su implementación.
Herramientas y Tecnologías: Aunque hay solapamientos, las herramientas y tecnologías específicas pueden variar significativamente entre ambos roles.

Ian Cristian Ariel Yané

Ricardo Alanis

Profesor

Miguel Angel Reyes Moreno

Pablo .

Julian Castro Pulgarin

Adrián Felipe Rueda Castellanos

Mi Chu

Andrea Aranda

Daviel Antonio Jiménez Comas

Santiago Ahumada Lozano

Yeimmy Andrea Ramirez Jimenez

Elvis Alexander Espinoza

Leonel Bravo

Daniel Bastidas

Andres Sanchez

JOSE VICENTE DIAZ OSPINA

Luis Alberto Ramírez Castellanos

Juan Felipe Nivia

Santiago Andres Gelvez Camargo

Diego Rivadeneira

David Issa Correa

Nicolás Martín González Sosa

Kevin Acevedo

Reentrenamiento y control de salud de servicios

Introducción a la ingeniería de datos

¿Qué es ingeniería de datos? ¿Qué es Data Engineer?

Formación Integral para Data Engineers: Retos y Herramientas Esenciales

¿Cómo convertirte en Data Engineer?

¿Dónde ejercer como Data Engineer?

Tareas de Data Engineer: DataOPs

Herramientas del ciclo de DataOps

Agile en ingeniería de datos

Lenguajes de programación e ingeniería de software

¿Dónde y cómo escribir tu código en ingeniería de datos?

Automatización y scripting

Fuentes de datos: SQL, NoSQL, API y web scraping

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Automatizar los pipelines: Airflow

Containers y empaquetamiento: Docker y Kubernetes

Manejo de ambientes para datos

Testing de software y de datos

CI/CD basico

Servidores y computación en la nube para data