Tecnologías Esenciales para Data Engineers

Clase 12 de 15 • Guía para Empezar una Carrera en Data Science e Inteligencia Artificial

Resumen

Para triunfar como Data Engineer, debes conocer y saber utilizar las siguientes herramientas:

Python y R
Linux
Bases de ingeniería de software
Bases de datos NoSQL y SQL.
Jupyter Notebooks y editores de código
Automatización y scripting
Librerías: Pandas, Dask y Apache Spark
Airflow
Tecnologías *cloud.
Docker.
Orquestadores Kubernetes
Matemática: estadística descriptiva

¿Cómo empezar el camino como Data Engineer?

Si quieres empezar con pie derecho tu camino hacia Data Engineer, no dudes en seguir los siguientes pasos:

Aprender a programar en Python y bases sólidas de ingeniería de software
Saber cómo automatizar procesos
Entender y aplicar librerías como: Pandas y Apache Spark
Conocer bases de datos SQL y NoSQL

Recuerda que todas las habilidades que viste anteriormente para convertirte en una Data Engineer, las puedes comenzar a aprender ahora mismo aquí en Platzi, en la ruta de aprendizaje de Data Engineer de Platzi.

Contribución creada por: Ismael H.

Hugo Montoya Diaz

student•

Data Engineer

Felipe Bernardo González Barranco

student•

:clap: :clap: :clap: :clap:

Lucas Mateo Aldana Briceño

student•

☜(ﾟヮﾟ☜) Gracias

Carlos Angeles

student•

no entiendo ni madres :(

Marius Lungu

student•

😂😂😂😂, tranquilo, sigue las rutas, cuando lleves unos 10-15 cursos, te ubicarás mucho mejor, pero primero necesitas forjar la base con unos pocos meses de estudio

Kin Orozco Takamura

student•

jajaja... yo a veces me pierdo tambíen, pero supongo que hay que ser paciente

Sara María Mejia Sánchez

student•

Herramientas y tecnologías para Data Engineer

Python
Scala
Bases sólidas de ingeniería de software (creación de software con buenas prácticas).
Automatización y scripting
Jypyter Notebooks y editores de código como Visual Studio Code.
Manejo avanzado de bases de datos SQL y NoSQL
Administrar bases de datos como OLAP y OLTP
Librerías para procesar datos: Pandas (pequeña cantidad), Dask y Apache (datos de más de gigabyte o terabytes).
Automatizar y agendar workflows para que se ejecuten de manera periódica (Apache Airflow)
Tecnologías cloud (AWS, Google Cloud o Azure)
Contenedores Docker, para crear software reproducible en diferentes máquinas.
Orquestadores Kubernetes para utilizar varios de estos contenedores a la vez, porque se trabaja con diferentes máquinas de cómputo paralelo.

Matemáticas para Data Engineer

Estadística descriptiva, para lograr entender mejor los datos con los que trabajas y para mejorar la comunicación con el resto del equipo de Data Scientist e IA

Juan Pablo Cuenca Ludeña

student•

Comparto mis apuntes #16 (Notion)

Nestor Jesus Rodriguez Rodriguez

student•

Importante multinacional española del sector tecnológico busca para su equipo del área de sistemas, técnico, tecnología , estudiante de 6to semestre o profesional en ingeniería de sistemas, telecomunicaciones, telemática, electrónica o carreras afines a las TICs, interesado/a en trabajar con nosotros, generando crecimiento personal y profesional.- Con conocimientos en desarrollo de software, bases de datos , ETL, análisis de requerimientos y Python.- Sin experiencia o inferior a los 2 años.Creamos y fomentamos un lugar de trabajo diverso, inclusivo y libre de acoso donde todos pueden alcanzar su potencial. Todos los solicitantes serán considerados para el empleo independientemente de su raza, color, religión, sexo, orientación sexual, identidad de género, origen nacional, edad o estado de discapacidad.

Luis Brea

student•

¿Cuál es el Linkdn de la empresa o enlace de contacto estimado Nestor? Gracias de antemano.

Nestor Jesus Rodriguez Rodriguez

student•

Que pena compañero, no la encontré :cry: Si era de Linkedin, en el buscador coloqué: Data Engineer. Pero hay muchas más actualizadas :thumbsup:

Antonio Demarco Bonino

student•

Encontré una búsqueda en el únicornio uruguayo d-local:

Sergio Brandon De Lucio Chavero

student•

Está bien, pero lo mejor es acercarse a la empresa y preguntar de primera mano, debido a que a veces Recursos Humanos puede ser un muro.

Kin Orozco Takamura

student•

Me pregunto si las empresas contratantes no tendrán problemas en tomarnos viniendo de un programa de estudio y no de una carrera, ya que en las ofertas de trabajo muchas veces veo que piden un título :(

Osvaldo Olguín

student•

Prepara un portafolio con proyectos. Para los proyectos practica lo que vas aprendiendo en los cursos. Te servirá para aprender y mostrar lo aprendido a reclutadores.

Wilmer Diaz

student•

No es una limitante, solo es un plus. En los grupos de trabajo actual, la mayoría de sus integrantes no tienen una formación académica universitaria. Ser autodidacta también es un buen Soft Skill actualmente. Ánimo que lo lograrás

DANIEL ALBERTO PRADA HERRERA

student•

Yin Mendoza Obregón

student•

Storylling y comunicación son del Data Analyst, de hecho... por eso se diferencia de Data Scientist, a parte del Maching Learning.por qué subestiman tanto aún Data Analyst?

Yin Mendoza Obregón

student•

StoryTelling y Comunicación son habilidades del Data Analyst, de hecho, por eso se diferencia del Data Scientist, a parte del Maching Learning. Por qué subestiman tanto a un Data Analyst?

Nayibe Parra Castillo

student•

Ofertas:

https://g.co/kgs/Xq3hT6

wilmer meza rodriguez

student•

estoy empezando en este mundo desde cero y me parece que este es el perfil en el que me centrare

Giancarlo Zevallos Lecca

student•

Faltó mencionar SQL Server Integration Services (SSIS), que es lo más utilizado en la industria para los ETLs

Miguel Angel Lara Hurtado

student•

Donde esta la seccion de recursos? por favor.

Joalin Pineda

student•

¡Hola, Eduardo! 👋 La encuentras justo debajo del reproductor de la clase.

Te dejo los enlaces que se comparten aca: https://platzi.com/dataengineer/ https://www.getonbrd.com/jobs/data-science-analytics

Eduardo Montaña

student•

Diferencia entre OLAP y OLTP

OLAP (On-Line Analytical Processing) es un tipo de sistema de base de datos diseñado para soportar la toma de decisiones y el análisis de datos multidimensionales. Los sistemas OLAP permiten a los usuarios analizar grandes cantidades de datos de diferentes maneras y desde diferentes perspectivas. Por ejemplo, un usuario puede usar un sistema OLAP para analizar ventas por región, por producto y por año.

Por otro lado, OLTP (On-Line Transaction Processing) es un tipo de sistema de base de datos diseñado para soportar el procesamiento de transacciones en línea. Los sistemas OLTP están optimizados para manejar grandes cantidades de transacciones rápidamente, como las realizadas en una tienda en línea o un banco. En general, los sistemas OLTP son más rápidos y están optimizados para manejar grandes cantidades de transacciones en lugar de para el análisis de datos.

En resumen, la principal diferencia entre OLAP y OLTP es el enfoque. Los sistemas OLAP están diseñados para apoyar el análisis y la toma de decisiones, mientras que los sistemas OLTP están diseñados para manejar transacciones en línea de manera eficiente.

Leidy Diana

student•

En mi país (Perú) no hay muchas vacantes sobre DI, encontré algunas y a continuación presento la que tiene mayor detalle.

Catalina Alvarez Morales

student•

Me gusta que es una escuela que va mas enfocada a la ingeniería de software

Yari Ivan Taft

student•

Es bueno utilizar linux, automatización y scripting y tambien buenas practicas de desarrollo. Spark y Dask para big data. Para poca data Pandas.

Y utilizar docker para hacer env facilmente reproducibles.

REY RENZO GARCIA LINARES

student•

Data Engineers need to learn Python and Scala Also, Linux is flexible and light.

Tools: Jupyter Notebooks, SQL, NoSQL Library: Pandas, Dask, Apache Spark Automation: Apache Airflow, google cloud, was Docker, kuberneter

sofia.goico

student•

En mi opinión este capitulo me confundió un poco, entiendo la finalidad de entender que hace un Data Engineer, pero quizás para esta instancia de curso, fue mucho más allá en las herramientas y tecnologías.

Wilmer Diaz

student•

Te comprendo, pero la verdad por experiencia, es bueno dejar claro y limitar las herramientas, pues cuando inicias a estudiar te atormenta tanta herramientas-tecnologías-conceptos que te desubica. Te recomiendo tener en mente y prioridad lo siguiente: Linux(uso en la terminal y servidores cloud)- Python (aquí profundizar en POO)- SQL (PostgreSQL) - AWS - Pandas

Cualquier tema, aquí estamos para ayudarte-guiarte con lo poco o mucho que sé.

Carmen Liliana Barrios Ayasta

student•

En la misma situación me he sentido. Si bien este es un curso preámbulo para entrar al mundo del DS e IA, lo entienden aquellos que ya están inmersos en el tema.

Juan Velayos

student•

Para convertirte en un Data Engineer, debes aprender las siguientes herramientas según la clase:

Lenguajes de programación: Enfócate en Python y Scala.
Scripting y automatización: Aprende a usar Cron o Shell Scripting.
Jupyter Notebooks: Para crear tus ETL.
Bases de datos: Conoce SQL y NoSQL, así como el modelado de datos.
Librerías de procesamiento de datos: Familiarízate con Pandas, Spark y Dask.
Apache Airflow: Para automatizar y agendar workflows.
Tecnologías en la nube: Aprende sobre AWS, Google Cloud o Azure.
Docker y Kubernetes: Para gestionar contenedores y orquestación.

Esto te dará una base sólida para iniciar tu carrera en Data Engineering.

Axel Enrique Galeed Gutierrez

student•

Les comparto una web en donde se detallan las skills que se requieren en una vacante como Data Engineer.

Se puede filtrar por rol y país.

Tecnologías Esenciales para Data Engineers

Importancia y usos de data science y machine learning

Fundamentos de Data Science e Inteligencia Artificial

Introducción a Data Science: Proceso y Áreas Clave

Introducción al Machine Learning y su aplicación en inteligencia artificial

Roles en Data Science e Inteligencia Artificial

Fundamentos de Data Science para Tomar Decisiones Estratégicas

Data Analyst

Rol y Actividades Diarias de un Data Analyst

Habilidades y herramientas esenciales para ser Data Analyst

Data Scientist

Funciones y Responsabilidades de una Data Scientist

Herramientas y Tecnologías para Data Scientists

Rol y Retos del Data Scientist en la Industria Actual

Data Engineer

Rol y Funciones del Data Engineer en Procesos ETL

Tecnologías Esenciales para Data Engineers

Rol y Responsabilidades de un Data Engineer en Data Science

Ser profesional en el mundo de los datos y machine learning

Habilidades Blandas en Data Science e IA: Comunicación y Storytelling

Resumen de Ciencia de Datos e Inteligencia Artificial