Trabajando en equipo como Data Engineer

Clase 23 de 25 • Curso de Fundamentos de Ingeniería de Datos

Clase anteriorSiguiente clase

Resumen

Nombre del curso: Curso de Fundamentos de Ingeniería de Datos

Dean: Sebastián Delmont

School Owner: Miguel Torres

Profesor (o profesora): Ricardo Alanís

Dirección: Miguel Torres

Producción OPS: Lizeth Cáceres y Rocío Martínez

Creación audiovisual: Candela Ocaranza

Edición de video: Diana Capote

Postproducción de audio: Karen White

Diseño gráfico: Diana Capote

Coordinación General: Andrés Arizmendy, Daniel Gutiérrez, Carol Baquero, Carlos Céspedes y Sura Cedeño

Revisión: Axel Yaguana y Rubén Cuello

Fabio Figueroa Benitez.

student•

me gusta la palabra Instrumentación y automatización <3 por eso me encanta la ingeniería de datos. El proceso es interesante!

Ricardo Alanis

teacher•

Correcto! procesos controlados y cuidados!

Daviel Antonio Jiménez Comas

student•

Mi resumen de la clase:

Los data engineer trabajan en equipo, hay cuatro roles muy importantes Data Analyst, nos ayuda a presentar los datos, los ingenieros de machine learning nos ayudan a publicar modelos, los data Scientist nos ayudan en todo el proceso, pero no saben mucho publicar código en producción con otros lenguajes de programación. Nuestro rol, es apoyar a los tres perfiles con procesos de datos adecuado, a poca latencia y muy escalables y estables, somos un soporte. Colaboramos con personas de producto y con el equipo de desarrollo de apps, para poder conectarnos a las fuentes de datos.

Ricardo Alanis

teacher•

Anthony Isaac García Anaya

student•

Tanto en DataOps como en la vida, lo importante es cimentar bases sólidas que te garanticen llegar a la cima, lo importante es empezar y mantenerse constante en este camino. Muchas gracias!

Julian Castro Pulgarin

student•

Muy buena conclusión del curso; a seguir aprendiendo!!

Ricardo Alanis

teacher•

<3 A darle, Julián, gracias por llegar hasta acá!

Hernán Darío Murcia Jiménez

student•

El poder que tienen los datos es increíble, conocer desde cero todo el proceso nos lleva a tener un conocimiento holístico de lo que vamos a entregar como producto final, en las decisiones que se pueden tomar con base en los datos. Gracias por esa buena intro, estoy tomando todo el curso para reforzar mis conocimientos y me perece excelente el enfoque le se le está dando al curso.

Ricardo Alanis

teacher•

Totalemente, personalmente estoy en una aventura para que las decisiones realmente dependan de datos. Se dice facil, pero no es!!

Sergio Andrés Piratoba Forero

student•

Edisson Estelio Gutiérrez Jiménez

student•

Muy animado con toda la ruta de aprendizaje!!!, vamos dando los primeros pasos a un nuevo camino.

Ricardo Alanis

teacher•

Vamos por estos objetivos!

Jean Pierre Carrey

student•

Se vuelve incómodo el uso del femenino gramatical para las palabras, no se siente inclusivo para nada.

Nicolas David Sepulveda Alvear

student•

Tremendo curso de inicio a fin, un gusto y honor haber podido ver y aprender de este contenido <3 , y de este profesor

Ricardo Alanis

teacher•

Gracias por dejar tu <3, a darle!

Cristian Aramayo Reyes

student•

Habilidades fundamentales de todo equipo de Ciencia de Datos:

Programación, estadística, matemáticas y dominio del negocio.

Excelente curso Ricardo, te felicito!! 🙌 Lo estaba esperando. 🤗Muchas gracias!

Ricardo Alanis

teacher•

Muchas gracias por tomarlo, Cristian. Vamos a crecer nuestro perfil para lograr nuestros objetivos!

Kevin Acevedo

student•

¿Todavía existe el dc? No lo encontré

Erick Jarson Pilonieta Corzo

student•

Que buena clase.

Mario Alexander Vargas Celis

student•

Estás trabajando en equipo como Data Engineer, lo cual implica colaborar con otros profesionales en el manejo, análisis y explotación de datos dentro de una organización. Aquí algunos aspectos clave al trabajar en equipo como Data Engineer:

Colaboración con otros roles:

Data Scientists: Ayudas a preparar y transformar los datos necesarios para que los científicos de datos puedan realizar análisis profundos e implementar modelos de machine learning.
Analistas de Datos: Proporcionas los pipelines de datos limpios y optimizados para que puedan realizar análisis detallados y generar informes o dashboards.
Arquitectos de Datos: Aseguras la integridad y eficiencia de los sistemas de almacenamiento y procesamiento de datos diseñados por los arquitectos.
Desarrolladores y QA: Trabajas en conjunto para automatizar procesos, asegurar la calidad del código y realizar pruebas en los pipelines de datos.

Tareas comunes en equipo:

Construcción de pipelines de datos: Diseño y desarrollo de ETL (Extract, Transform, Load) para la integración, transformación y carga de datos.
Optimización de rendimiento: Mejorar los procesos de datos para reducir tiempos de procesamiento y consumo de recursos.
Gestión de datos en la nube: Trabajo con servicios de almacenamiento y procesamiento en la nube como AWS, GCP, o Azure.
Seguridad de datos: Implementación de políticas de acceso y privacidad para asegurar la protección de la información.
Documentación y comunicación: Mantener documentación clara y colaborar estrechamente con los demás miembros del equipo para asegurar una buena comprensión de los procesos.

Herramientas comunes para trabajar en equipo como Data Engineer:

Git: Colaboración en código y control de versiones.
Jenkins o GitLab CI/CD: Automatización de flujos de trabajo y despliegue continuo.
Airflow o Luigi: Creación y programación de pipelines de datos.
SQL, Python, Spark: Herramientas esenciales para la extracción, transformación y carga de datos.
Snowflake, Redshift, BigQuery: Plataformas de almacenamiento y procesamiento en la nube.
Docker y Kubernetes: Contenerización y escalabilidad de aplicaciones en entornos de datos.

Habilidades clave para trabajar en equipo:

Comunicación efectiva: Explicar procesos técnicos a otros miembros del equipo y documentar adecuadamente el trabajo.
Colaboración ágil: Adaptarse a metodologías ágiles y trabajar de forma eficiente en proyectos multidisciplinarios.
Resolución de problemas: Identificar y solucionar problemas relacionados con la calidad de los datos y el rendimiento de los pipelines.
Trabajo bajo presión: Manejo de múltiples proyectos al mismo tiempo y cumplimiento de plazos ajustados.

MARIA TERESA PANIAGUA RIVERA

student•

Gracias

Iván Darío Restrepo Vallejo

student•

hasta ahora no he podido conectarme al discord de platzi, me gustaría hacerlo pero no se como

Joan Anderson Gallego Juspian

student•

Me gustaría que me quedara más claro algo:

¿Cuándo mencionas llevarlo a la producción, exactamente a que te refieres, en que contexto especifico puedo aterrizar este concepto?

Creo entender que es sobre el flujo de la información, si es así, ¿podrías mencionar un ejemplo práctico? Gracias.

Ricardo Alanis

teacher•

Claro! Joan, cuando hablamos de llevar cosas a producción me refiero al momento cuando algo puede ser utilizado por el usuario final. Por ejemplo, cuando vas probando un modelo para poder ver si funciona con tus datos, eso es preproductivo hasta que lo tienes en algun servidor sirviendo respuestas, siendo util para alguna solución, o quizá compartiendo los resultados.

ANDRES ALFONSO MIRA MEJIA

student•

✅

Ricardo Alanis

teacher•

kolab Linkear

student•

Le tengo un gran apego a python y siento que en esta rama le voy a poder sacar el mayor provecho a cada una de sus herramientas y experimentar con el ecosistema de Python

Ricardo Alanis

teacher•

Definitivamente es un lenguaje en e que podemos confiar! Y en su comunidad.

Andres Sanchez

student•

23. Trabajando en equipo como Data Engineer

Analistas
Científicos
Ingenieros
Ingenieros de Machine learning
El rol del ingeniero es apoyar a los otros 3 roles.
Personas de producto.
Equipo de desarrollo de aplicaciones.

Ricardo Alanis

teacher•

Genial <3

JOSE VICENTE DIAZ OSPINA

student•

Excelente clase, ya conectado al Discord.

Ricardo Alanis

teacher•

Excelente! Ahi nos vemos!