¿Cómo convertirte en Data Engineer?

Curso de Fundamentos de Ingeniería de Datos

Contenido del curso

Introducción a la ingeniería de datos

Herramientas del ciclo de DataOps

Ejerciendo como Data Engineer

Conclusiones

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:002:54

¿Cómo convertirte en Data Engineer?

Curso de Fundamentos de Ingeniería de Datos

Clase 3 de 25

Clase 3 / 25

Comentarios (115)115 comentarios

Julian Castro Pulgarin

Hace 4 años

Hay una cosa importante que aprendí como Data Scientist, no puedes hacerte preguntas ni hacer un modelo si no tienes buenos datos, no solo como estructura, sino en disponibilidad para el consumo.

Como comenta Ricardo, uno de los grandes trabajos es tener buenas prácticas de código para sostener las pipelines ETL, asi como tener buenas prácticas como arquitecto de soluciones cloud (y más cuando trabajas en cloud que cualquier sistema puede facturarte cientos de dólares).

Sin duda es un rol muy muy completo e interesante :D

Mi Chu

Personalmente por eso decidí primero estudiar data engineer para después ser data (Sci o Ana) o MachLearn si no tengo bien los datos, el modelo simplemente será un fracaso

Ricardo Alanis

Profesor

Es un rol super divertido y un gran punto para saltar desde alguna otra rama de programación!

Miguel Angel Reyes Moreno

He notado que piden las empresas:

Inglés avanzado
Python o Java
Spark
AWS

Inglés suena, especialmente para la documentación Lenguajes Si, Spark sin duda, y Nubes! claro!

Carlos Eduardo Bracho Rosales

Como convertirse en Data engineer:

plantear soluciones de Data science: hacer preguntas importantes, hacer una exploracion, hacer el modelado y visualizacion de los datos.
Aplicar conceptos de ingenieria de software (en dos frentes)
1. desarrollar soluciones completas y estables que corran a la largo del tiempo.
2. conectar con bases de datos especializadas para poder hacer consultas inteligentes y usar los recursos de manera optima.
- esto nos ayuda a que nuestra solucion no solo sea tecnicamente facible sino economicamente factible.
Tener vision de arquitectura e infraestructura: para crecer nuestros procesos en multiples computadoras y acercarnos a lo que conocemos como Big Data.
Construyendo cosas que seran sostenibles en produccion

Así es. Gracias por compartir!

Vladimir Marcos Vega

Hace 3 años

gracias !!!

Daviel Antonio Jiménez Comas

Mi resumen de la clase:

Debemos de tener conocimientos de Data Science y conocimientos de ingeniería de software que esta nos va a ayudar a desarrollar procesos que duraran mucho tiempo en la empresa, para conectarnos con bases de datos para consultar datos de manera optima para que sean factibles de manera económica y optima con un complemento de infraestructura y arquitectura en la nube, para usar múltiples PCs para procesar big data.

Pablo Rivera

Un ingeniero de datos o data engineer generalmente necesita una combinación de habilidades técnicas como las siguientes

1. Programación

2. Bases de Datos y SQL

3. ETL (Extract, Transform, Load)

4. Hadoop y Ecosistema Big Data

5. Modelado de datos y diseño de esquemas

6. Gestión de Versiones y control de código

7. Conocimiento en cloud compututing

8. Automatización y Scripting

9. Comprensión de negocios

10. Seguridad de Datos

11. Comunicación y Colaboración

Gracias por compartir!

Gabriel Alejandro Almanza Sartié

Si hay varias ofertas de trabajo como data engineers, aunque mucho de los requisitos que piden no los entiendo, pero a la vez veo que uno de los requisitos en algunas ofertas es tener titulo de Ingenieria en Sistemas.

Arturo Solares

Justo tengo esa duda, he estado unos meses estudiando bastante en platzi, pronto empezaré a estudiar ing. en sistemas, pero la verdad siento que aprendo a mejor ritmo en platzi que estar perdiendo tiempo en transporte y todo eso. lamentablemente lo que me forza a ir a la universidad es obtener el título aunque no llegue a ser eficiente la adquisición de conocimiento.

Take it easy! Yo todos los empleos que he visto son 1. Remotos 2. Inglés avanzado (B2-C1) 3. Muchas Posiciones junior 👀 (a diferencia de data science o machine learning 4. Con que domines python, una nube (AWS) que le sepas al haddop spark, etc y hacer los de los pipelines y así... En ninguna he visto que pidan licenciatura (título) solo que seas competente para los data warehouses o data lakes 😁

Rodrigo Martinez

Hace 2 años

Les dejo esta pagina donde pueden ver la dedmanda de distintas tecnologias en sus paises:

Yeixon Ramirez

Super ayuda

Andrea Aranda

Dejo mi aporte, este lo encontré en Linkedin buscando en todo el mundo. Espero un día poder trabajar para una empresa europea o de EEUU. Buscan:

Knowledge of AWS or at least one other cloud provider (i.e. Google Cloud, Azure). Knowledge of MLOps tools (DVC or equivalent). Knowledge of labeling tools (CVAT, VoTT, LabelImg, Doccano, DataQA). Knowledge of Tensorflow/Pytorch. Knowledge of Agile methodologies.

Muchas gracias por compartir!

Federico Acuña

Esto fue lo que encontré que piden en los trabajos:
- Python o SQL para transformación de la data.
- Ingesta y transformación de datos por SQL.
- Conocimiento sólido de servicios clave de AWS, como EC2, S3, RDS, Lambda, etc.

Daniela Galeano

¿Qué tan complicado es conseguir un trabajo como Data Engineer, sin experiencia?

El Rol de Data Engineer Jr es justo para eso, para poder entrar a un trabajo al que se tiene solo experiencia académica. Para eso, uno tiene que darlo todo para poder hacer una buena entrevista, y prepararse.

Una buena idea es hacer proyectos personales donde pongas en práctica las habilidades esperadas.

Carlos Orejuela

Hace un año

Según las ofertas que pude analizar, se pide:

Conocimiento sólidos de alguno de los principales gestores de bases de datos relacionales (MySQL, PostgreSQL, Oracle, ...). Esto va desde la creación de consultas y la gestión de una base de datos.
Experiencia en entornos cloud, tales como: AWS, Azure, GCP, ...
Inglés avanzado (C1, C2)
Lenguajes de scripting como Python o Bash.
Buenas prácticas de patrones de diseño y principios de programación.
Git y GitHub.

Dora Yurany Gomez Salazar

Encontré algunas ofertas las cuales piden los siguientes conocimientos:

-Git Hub Actions

-Base de datos y SQL

-Azure

-Devops

-Infraestructura como código

-Herramientas de visualización (locker, power Bi, etc)

-Capacidad de análisis y pensamiento lógico para resolver problemas

-Proceso ETL

Stanley Melgar

Acá un ejemplo de los requerimientos de un empleo de Ingeniero de Datos en GetOnBoard.

Curiosamente, muchas de las habilidades solicitadas implican saber sobre computación en la nube, esto se repite a lo largo de las vacantes.

Gustavo Rodriguez Compean

Me encantó el:

Si no cumples alguno de estos puntos no te desanimes, queremos conocerte igualmente.

Jamás nadie se había preocupado tanto por mí :')

Gran búsqueda. y gran conclusión la tuya!

Juan Jose Morales Ossa

En las oportunidades que llamaron mi atención se pedía.

ETL con Python y SQL para crear pipelines
Tableau o Apache Superset
Conceptos de bases de datos como MySQL, MS SQL
AirFlow, Splunk, Kafka, Spark, Hadoop
Conocimientos básicos de la nube (AWS, Azure)

Roger Ivan Gurdian Castillo

Hace 9 meses•editado

Analytics Architect

Forma parte de nuestra transformación digital liderando el diseño e implementación de soluciones de Business Intelligence que impulsen la toma de decisiones estratégicas.

Responsabilidades clave:

Diseño de arquitectura de datos empresarial
Desarrollo de dashboards, KPIs y reportes críticos
Automatización de procesos con Python y Power BI
Implementación de políticas de gobernanza y seguridad de datos
Optimización de procesos ETL/ELT y administración de bases de datos

Perfil requerido:

Licenciatura en Ingeniería, Ciencias de la Computación, Administración o carreras afines.
Maestría en áreas relacionadas, deseable.
3 a 5 años de experiencia en soluciones de BI, modelado y visualización de datos.
Dominio de Power BI, SQL, Python, SAP, y Excel avanzado.
Experiencia en plataformas cloud (Azure, AWS o GCP).
Conocimiento en automatización, análisis predictivo y DataOps.

Razón por la cual estoy preparándome ya que la idea es poder ser ascendido como Analytics Architect, actualmente tengo el rol de Fullstack developer. jejeje...

Eduardo Barbosa Olivares

Veo en vacantes internacionales, que piden la pluma del ave fenix.

y que tengo que aprender varios lenguages de programacion y manejar terminal de linux

Manuela Zapata

En general, para aplicar a una oferta dirigida a un Data Engineer se debe tener muy buen manejo de aquellos lenguajes de programación (Python, SQL, Scala, Spark) que permiten el tratamiento, distribución, modelamiento y análisis de bases de datos (RBDMS), como también conocimiento en uso de plataformas (Apache Airflow, Apache Spark, Terada) y herramientas (Hadoop, AWS, Azure, Google Cloud, Agile Methodologies, DevOps) que faciliten cumplir con estas funciones. Adicionalmente, nunca sobra tener conocimientos base o experiencia acerca del enfoque y el propósito que tiene la empresa donde se desempeña porque permite una mejor manipulación y estudio de los datos.

Gracias por compartir Manuela, sin duda! Es bueno tambien saber que si tenemos principios,mpodemos aplicar a una posición junior!

Edgardo Luis Jimenez Nuñez

Realmente veo un campo muy amplio en esta area, ademas de bastantes vacantes y los sueldos son muy buenos, espero completar toda la ruta y aplicar todos los conocimientos.

Totalmente, vamos por ello Edgardo!

FERNANDO JAVIER GARCIA ESPINO

Hace un mes•editado

Ha sido un poco desalentador en parte hacer el reto, me he dado cuenta que casi en la totalidad los requisitos incluyen una lista interminable de plataformas que ni he comenzado a conocer y como minimo 6 años de experiencia en el campo y uso de todo ello. En mi caso soy un ingeniero ya con bastantes años de trabajo y edad que debido a la coyuntura de mi trabajo y potenciado por la IA me di cuenta de una afinidad que siempre he desarrollado con los datos, la introduccion de la clase del excelente profesor potencia ello, pero la expectativa de un salto y cambio de rubro a este punto se ha reducido mucho luego de la tarea-reto, lo cual no quita el gran valor del enfoque con que lleva la clase, es muy valioso y excelente desde otra perspectiva poder tener las bases para analizar, valorar y evaluar este aprendizaje por lo que es en si mismo y aterrizar las expectivas a que laboralmente ello probablemente no es realista esperar un impacto o cambio ello en mi caso, pero sera un ambito de desarrollo y aprendizaje satisfactorio y veremos que puertas pueda abrir el seguirlo. Muy valioso desde la primera clase la linea y forma pedagogica, gracias!

David Omar Cusihuaman

Hace un mes

Lo bueno es que eres conciente de las "dificultades" que atravesarias (o ya estas atrevesando), eso te mantendrá enfocado en tu ruta de aprendizaje porque ya sabes qué puntos son los que necesitas ...

Luis Alfredo Villalta López

Hace 5 meses

¿Cuál es la mejor forma de empezar?

Para convertirte en Data Engineer, el enfoque más efectivo es construir una base sólida en fundamentos de bases de datos y programación. No intentes aprender todas las herramientas de moda al mismo tiempo. Comienza dominando SQL para entender cómo se estructuran, consultan y manipulan los datos. Luego, adopta un lenguaje de propósito general como Python o Scala, que te permitirá crear scripts para mover y transformar esa información. Una vez que te sientas cómodo extrayendo datos de una fuente y llevándolos a otra, puedes empezar a explorar conceptos más avanzados como el modelado de datos, la creación de pipelines automatizados y el uso de la terminal de comandos. La clave es ir de lo simple a lo complejo, resolviendo problemas reales paso a paso.

Introducción a la ingeniería de datos

¿Qué es ingeniería de datos? ¿Qué es Data Engineer?

Formación Integral para Data Engineers: Retos y Herramientas Esenciales

¿Cómo convertirte en Data Engineer?

¿Dónde ejercer como Data Engineer?

Tareas de Data Engineer: DataOPs

Herramientas del ciclo de DataOps

Agile en ingeniería de datos

Lenguajes de programación e ingeniería de software

¿Dónde y cómo escribir tu código en ingeniería de datos?

Automatización y scripting

Fuentes de datos: SQL, NoSQL, API y web scraping

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Automatizar los pipelines: Airflow

Containers y empaquetamiento: Docker y Kubernetes

Manejo de ambientes para datos

Testing de software y de datos

CI/CD basico

Servidores y computación en la nube para data

Reentrenamiento y control de salud de servicios

Medición de indicadores y seguimiento a proyectos

Ejerciendo como Data Engineer

Buscando Oportunidades como Data Engineer

Evolución en el rol: ganando seniority como Data Engineer

Evolución en el rol: manager, architect, pivot

Trabajando en equipo como Data Engineer

Conclusiones

Compartir con la comunidad y seguir creciendo

Completa tu guía con los retos y certifícate

¿Cómo convertirte en Data Engineer?

Progreso del curso

Introducción a la ingeniería de datos

Herramientas del ciclo de DataOps

Ejerciendo como Data Engineer

Conclusiones