Herramientas y tecnologías para Data Engineers

Data Engineer

no entiendo ni madres 😦

Herramientas y tecnologías para Data Engineer

• Python

• Scala

• Bases sólidas de ingeniería de software (creación de software con buenas prácticas).

• Automatización y scripting

• Jypyter Notebooks y editores de código como Visual Studio Code.

• Manejo avanzado de bases de datos SQL y NoSQL

• Administrar bases de datos como OLAP y OLTP

• Librerías para procesar datos: Pandas (pequeña cantidad), Dask y Apache (datos de más de gigabyte o terabytes).

• Automatizar y agendar workflows para que se ejecuten de manera periódica (Apache Airflow)

• Tecnologías cloud (AWS, Google Cloud o Azure)

• Contenedores Docker, para crear software reproducible en diferentes máquinas.

• Orquestadores Kubernetes para utilizar varios de estos contenedores a la vez, porque se trabaja con diferentes máquinas de cómputo paralelo.

Matemáticas para Data Engineer

• Estadística descriptiva, para lograr entender mejor los datos con los que trabajas y para mejorar la comunicación con el resto del equipo de Data Scientist e IA

Encontré una búsqueda en el únicornio uruguayo d-local:

Importante multinacional española del sector tecnológico busca para su equipo del área de sistemas, técnico, tecnología , estudiante de 6to semestre o profesional en ingeniería de sistemas, telecomunicaciones, telemática, electrónica o carreras afines a las TICs, interesado/a en trabajar con nosotros, generando crecimiento personal y profesional.- Con conocimientos en desarrollo de software, bases de datos , ETL, análisis de requerimientos y Python.- Sin experiencia o inferior a los 2 años.Creamos y fomentamos un lugar de trabajo diverso, inclusivo y libre de acoso donde todos pueden alcanzar su potencial. Todos los solicitantes serán considerados para el empleo independientemente de su raza, color, religión, sexo, orientación sexual, identidad de género, origen nacional, edad o estado de discapacidad.

Me pregunto si las empresas contratantes no tendrán problemas en tomarnos viniendo de un programa de estudio y no de una carrera, ya que en las ofertas de trabajo muchas veces veo que piden un título 😦

Es bueno utilizar linux, automatización y scripting y tambien buenas practicas de desarrollo.
Spark y Dask para big data. Para poca data Pandas.

Y utilizar docker para hacer env facilmente reproducibles.

Ofertas:

https://g.co/kgs/Xq3hT6

Este encontre en mi ciudad entre varias y esto piden. Experiencia: De 2 a 3 años en adelante en manejo de ciencia de datos o campos relacionados, conocimientos avanzados en análisis estadístico, experiencia con técnica avanzada de recopilación de análisis de datos, experiencia en manejo de lenguajes de programación estadística, R o Python, experiencia con herramientas de visualización y reportara de inteligencia empresarial, análisis y estadística, solución de problemas. Manejo Indispensable: POWER BI Y TABLEU, BASE DE DATOS SQL. INGLES AVANZADO (Indispensable buen manejo ya que todo el contacto ser con el extranjero) Ofrecemos: Sueldo mensual base $32,000Prestaciones de ley Prestaciones superiores a las de ley Herramienta de trabajo Contratación directa por la empresa

¿Qué esperamos de nuestro Data Engineer?Profesional en Ingeniería de Sistemas, Electrónico, de Telecomunicaciones, Teleinformática y/o afines, con experiencia a partir de 3 años en las etapas de análisis, diseño, implementación y pruebas de proyectos de BI, apoyo en gestión de requerimientos de información, generación y análisis de información de procesos de negocio, construcción de ETL ( Azure Datalake (Python), orquestación de actividades, modelamiento de datos OLTP y OLAP), conocimiento en herramientas de explotación de datos (TABLEAU, COGNOS, POWER BI, otros similares) y manejo de bases de datos (Manejo de base de datos SSMS y Modelos Tabulares SSAS), motores de bases de datos deseados: ORACLE, NETEZZA, TERADATA, SQL). Conocimiento deseable en Cloud como: AWS, GCP, Azure Cloud, DataLake, DataFactory, DataBricks y Analysis Services.

Las principales tecnologias que encontre:

• Python
• SQL / NoSQL
• Batch Processing
• Hadoop
• Spark

Un punto bien interesante del Data Engineer es que tiene un perfil muy similar al de desarrollador por el stack de tecnologías que debe conocer, así como la matemática no tan compleja como por el ejemplo el caso d eun Data Scientist. Es un buen perfil para aquellos que sean desarrolles y quieran realizar un cambio sin tener que olvidar los conocimientos que ya han utilizado.

Se ve un poco extensa la ruta, bastantes cosas por aprender.

Ya no se que elegir!! todos se escuchan muy pro.

En mi opinión este capitulo me confundió un poco, entiendo la finalidad de entender que hace un Data Engineer, pero quizás para esta instancia de curso, fue mucho más allá en las herramientas y tecnologías.

Requisitos

• Carrera: Ingeniería de Sistemas, Ingeniería Informática o carrera afín.
  Conocimientos en Cloud Computing, Analytics y Big Data, Transformación digital, AWS, GCP y/o Azure,etc.
• Conocimiento de AWS: Athena, Amazon Glue, Pyspark, Amazon Redshift, Amazon S3, Amazon DMS.
• Conocimiento de Google Cloud Platform: BigQuery, cloud dataflow, cloud composer, cloud dataflow, cloud storage, cloud functios.
• Experiencia mínima de 3 años en Business Intelligence en gestión e implementación de proyectos.
• Experiencia mínima de 2 años en explotación de bases de datos (Imprescindible)
• Conocimiento de diseño, construcción y mantenimiento de sistema de procesamiento de datos
• Conocimiento de modelado de datos.
• Conocimientos de virtualización y despliegue en cloud (Imprescindible)
• Manejo a nivel intermedio/alto en Java, Python/Scala (Tratamiento, Exposición de datos- APIs).
• Interés por las nuevas tendencias en el procesamiento de grandes volúmenes de Datos (Big Data).
• Conocimiento de metodologías Agiles (Scrum).
• Idiomas: Inglés – Nivel Intermedio.
• Experiencia en SQL, conocimiento en lenguajes de bases no relacionadas es un plus: MongoDB, Amazon DynamoDB.

Responsabilidades

• Desarrollar un proceso para transformar los datos de la empresa para que puedan ser analizados y utilizados por los científicos de datos. Estos datos provienen de fuentes como bases de datos y archivos de texto.
• Diseñar, desarrollar, probar y desplegar procesos de extracción, Transformación y Carga (ETL) de datos estructurados y no estructurados a la nube (AWS, Google).
• Procesamiento de información de gran volumen utilizando tecnologías de big data en la nube (AWS, Google).
• Realizar consultas complejas sobre los datos, asegurando la accesibilidad y el buen funcionamiento del sistema.
• Optimizar el rendimiento del ecosistema de Big Data.
• Optimizar código Python para ejecutarlo en C o Java.
• Uso de herramientas de versionado e integración continua
  Educar y entrenar
• Participar en asegurar el cumplimiento y la gobernanza durante el uso de los datos.

Competencia

• Habilidades de comunicación.
• Habilidad de análisis.
• Pensamiento crítico.
• Enfoque en resultados.
• Trabajo en equipo Idiomas: Inglés
• Conocimientos: Python, Big Data

Disponibilidad para viajar: No

Disponibilidad para cambio de residencia: No

Fuente: https://www.linkedin.com/jobs/search/?currentJobId=2992855370&f_PP=101312395&f_TPR=r604800&geoId=102927786&keywords=data engineer&location=Peru&sortBy=R

Información resumida de esta clase
#EstudiantesDePlatzi

Herramientas y Tecnologías

• Python
• Bases de ingeniería
• Linux
• Automatizar
• Jupyter Notebooks
• Bases de datos SQL y NoSQL
• Librerías, Panda, Dask, y Spark
• Airflow
• Tecnologías Cloud
• Contenedores Dacker
• Orquestadores Kubernetes

Matemáticas

• Estadística Descriptiva

Quedé re-perdido

yo en mi anterior trabajo realice muchos ETL y fue incomodo para mi utilizar jupyter se me vino mejor el visual studio code

Interesante una herramienta hoy en día: HEVO https://hevodata.com/
En línea donde ya hace toda la magia para conectarse a cualquier fuente de datos y permite hacer las transfomaciones a través de python o utilizando una herramienta gráfica

Creo que este rol es el que más conocimiento necesita junto con el Data Scientist, porque maneja varios programas a la vez, lo fundamental aquí es automatizar procesos y el respaldo en la nube.

Encontré esto: (Anuncio de Data Engineer BCP Perú)

Nuestras responsabilidades principales son:
• Implementar soluciones de información (realizar los mapeos de información, realizar los scripts, puesta en producción de los nuevos códigos, pruebas de calidad de todo el proceso, verificación de resultados).
• Automatizar y optimizar procesos (realizar análisis de capacidad de procesamiento, tiempos de procesamiento, identificar los puntos de dolor, plantear alternativas de solución, implementar la solución óptima, realizar la puesta en producción, aplicación del sistema en control).
• Realizar la atención de requerimientos en temas de agilidad.
• Efectuar la ingesta de información en SQL y/o Datawarehouse.

Debes postular a este rol solo si …
• Si eres Egresado o Bachiller en Ingeniería de Sistemas, Ingeniería Informática y/o afines.
• Si tienes experiencia de 1 año y 6 meses como Analista Junior de Bussines Intelligence, Data Analyst, Data Engineer.

Sobre todo si dominas …
• PL SQL / SQL (Nivel Intermedio).
• Python (Nivel Básico).
• Big Data (Básico – Intermedio).
• SAS (Deseable).

¿Qué beneficios disfrutarás?

Avenue Code is the leading software consultancy focused on delivering end-to-end development solutions for digital transformation across every vertical. We’re privately held, profitable, and have been on a solid growth trajectory since day one. We care deeply about our clients, our partners, and our people. We prefer the word ‘partner’ over ‘vendor’, and our investment in professional relationships is a reflection of that philosophy. We pride ourselves on our technical acumen, our collaborative problem-solving ability, and the warm professionalism of our teams.

About the opportunity:

We are looking for a passionate, talented, and innovative Data Engineer to gain insights to support the recommendation system use cases, building pipelines for efficient data, supporting machine learning engineers for data needs, integrating production services, as well as building reporting dashboards.

Required Qualifications:
Expertise in Data structures, Object-oriented programming, functional programming and,
familiarity with microservices and cloud Technologies.
Knowledge of programming languages- Python, SQL, Java.
Experience in BigData and NoSQL technologies like Cassandra, Big Table or equivalent.
Experience in writing SQLs to get analytical data from Google Big Query or equivalent OLAP
databases.
Familiarity with model assessment and validation
Experience in designing event driven mechanisms, publish/subscribe models.
Experience in writing automated tests - Unit/Integration tests.
Experience with cloud computing on at-least one of major providers (Google Cloud Platform,
AWS or Azure).

Does this sound like you? Apply now to become an Avenue Coder! .