Importancia y usos de data science e inteligencia artificial

1

Oportunidades laborales en Data Science e inteligencia artificial

2

Glosario para entender el mundo de Data Science e inteligencia artificial

3

¿Qué es Data Science?

4

¿Qué es inteligencia artificial? ¿Cuál es su diferencia con Data Science?

5

¿Qué es Big Data? ¿Cuál es su diferencia con Data Science?

6

¿Qué NO es Data Science? ¿Por qué aprenderla?

7

Áreas de aplicación de Data Science e inteligencia artificial

8

Roles en la industria: cómo funcionan los equipos de datos e inteligencia artificial

Quiz: Importancia y usos de data science e inteligencia artificial

Data Analyst

9

¿Qué hace una Data Analyst?

10

Herramientas y tecnologías para Data Analysts

11

La experiencia de un Data Analyst: entrevista a Demian Arenas

Quiz: Data Analyst

Data Scientist

12

¿Qué hace una Data Scientist?

13

Herramientas y tecnologías para Data Scientists

14

La experiencia de una Data Scientist: entrevista a Nazly Santos

Quiz: Data Scientist

Data Engineer

15

¿Qué hace una Data Engineer?

16

Herramientas y tecnologías para Data Engineers

17

La experiencia de un Data Engineer: entrevista a Alexis Araujo

Quiz: Data Engineer

Machine Learning Engineer

18

¿Qué hace una Machine Learning Engineer?

19

Herramientas y tecnologías para Machine Learning Engineers

20

La experiencia de un Machine Learning Engineer: entrevista a Gerson Perdomo

Quiz: Machine Learning Engineer

Ser profesional en el mundo de los datos e IA

21

Soft skills para Data Science

22

¡En sus marcas, listos, fuera!

Aún no tienes acceso a esta clase

Crea una cuenta y continúa viendo este curso

Herramientas y tecnologías para Data Engineers

16/22
Recursos

Para triunfar como Data Engineer, debes conocer y saber utilizar las siguientes herramientas:

  • Python y R.
  • Linux.
  • Bases de ingeniería de software.
  • Bases de datos NoSQL y SQL.
  • Jupyter Notebooks y editores de código.
  • Automatización y scripting.
  • Librerías: Pandas, Dask y Apache Spark.
  • Airflow.
  • Tecnologías cloud.
  • Docker.
  • Orquestadores Kubernetes.
  • Matemática: estadística descriptiva.
Una mano empuñando una herramienta, saliendo de un computador.

¿Cómo empezar el camino como Data Engineer?

Si quieres empezar con pie derecho tu camino hacia Data Engineer, no dudes en seguir los siguientes pasos:

  1. Aprender a programar en Python y bases sólidas de ingeniería de software.
  2. Saber cómo automatizar procesos.
  3. Entender y aplicar librerías como: Pandas y Apache Spark.
  4. Conocer bases de datos SQL y NoSQL.

Recuerda que todas las habilidades que viste anteriormente para convertirte en una Data Engineer, las puedes comenzar a aprender ahora mismo aquí en Platzi, en la ruta de aprendizaje de Data Engineer de Platzi.

Aportes 28

Preguntas 2

Ordenar por:

¿Quieres ver más aportes, preguntas y respuestas de la comunidad? Crea una cuenta o inicia sesión.

Data Engineer

no entiendo ni madres 😦

Herramientas y tecnologías para Data Engineer

  • Python

  • Scala

  • Bases sólidas de ingeniería de software (creación de software con buenas prácticas).

  • Automatización y scripting

  • Jypyter Notebooks y editores de código como Visual Studio Code.

  • Manejo avanzado de bases de datos SQL y NoSQL

  • Administrar bases de datos como OLAP y OLTP

  • Librerías para procesar datos: Pandas (pequeña cantidad), Dask y Apache (datos de más de gigabyte o terabytes).

  • Automatizar y agendar workflows para que se ejecuten de manera periódica (Apache Airflow)

  • Tecnologías cloud (AWS, Google Cloud o Azure)

  • Contenedores Docker, para crear software reproducible en diferentes máquinas.

  • Orquestadores Kubernetes para utilizar varios de estos contenedores a la vez, porque se trabaja con diferentes máquinas de cómputo paralelo.

Matemáticas para Data Engineer

  • Estadística descriptiva, para lograr entender mejor los datos con los que trabajas y para mejorar la comunicación con el resto del equipo de Data Scientist e IA

Encontré una búsqueda en el únicornio uruguayo d-local:

Importante multinacional española del sector tecnológico busca para su equipo del área de sistemas, técnico, tecnología , estudiante de 6to semestre o profesional en ingeniería de sistemas, telecomunicaciones, telemática, electrónica o carreras afines a las TICs, interesado/a en trabajar con nosotros, generando crecimiento personal y profesional.- Con conocimientos en desarrollo de software, bases de datos , ETL, análisis de requerimientos y Python.- Sin experiencia o inferior a los 2 años.Creamos y fomentamos un lugar de trabajo diverso, inclusivo y libre de acoso donde todos pueden alcanzar su potencial. Todos los solicitantes serán considerados para el empleo independientemente de su raza, color, religión, sexo, orientación sexual, identidad de género, origen nacional, edad o estado de discapacidad.

Me pregunto si las empresas contratantes no tendrán problemas en tomarnos viniendo de un programa de estudio y no de una carrera, ya que en las ofertas de trabajo muchas veces veo que piden un título 😦

Es bueno utilizar linux, automatización y scripting y tambien buenas practicas de desarrollo.
Spark y Dask para big data. Para poca data Pandas.

Y utilizar docker para hacer env facilmente reproducibles.

Científico de Datos Títulos Ingeniero en Sistemas de Información, Matemático, Ingeniero Matemático e Ingeniero Estadístico. Conocimientos específicos Hadoop, HDFS, Hive, SQL, HQL, Python, R, Spark. Conocimiento de bases de datos Oracle, Postgres, SQL Server, Casandra, MongoDB Conocimiento en metodologías ágiles Dominio teórico/práctico de algoritmos Machine Learning y Deep Learning Habilidades Aprendizaje continuo Resolución de problemas Visión de negocio Experiencia minimo3 años en cargos e instituciones similares con conocimiento en Reconocimiento de patrones, Preparación de datos, Análisis de texto, Inteligencia Artificial, Modelado, Clustering, Visualización de Datos.

Este encontre en mi ciudad entre varias y esto piden. Experiencia: De 2 a 3 años en adelante en manejo de ciencia de datos o campos relacionados, conocimientos avanzados en análisis estadístico, experiencia con técnica avanzada de recopilación de análisis de datos, experiencia en manejo de lenguajes de programación estadística, R o Python, experiencia con herramientas de visualización y reportara de inteligencia empresarial, análisis y estadística, solución de problemas. Manejo Indispensable: POWER BI Y TABLEU, BASE DE DATOS SQL. INGLES AVANZADO (Indispensable buen manejo ya que todo el contacto ser con el extranjero) Ofrecemos: Sueldo mensual base $32,000Prestaciones de ley Prestaciones superiores a las de ley Herramienta de trabajo Contratación directa por la empresa

¿Qué esperamos de nuestro Data Engineer?Profesional en Ingeniería de Sistemas, Electrónico, de Telecomunicaciones, Teleinformática y/o afines, con experiencia a partir de 3 años en las etapas de análisis, diseño, implementación y pruebas de proyectos de BI, apoyo en gestión de requerimientos de información, generación y análisis de información de procesos de negocio, construcción de ETL ( Azure Datalake (Python), orquestación de actividades, modelamiento de datos OLTP y OLAP), conocimiento en herramientas de explotación de datos (TABLEAU, COGNOS, POWER BI, otros similares) y manejo de bases de datos (Manejo de base de datos SSMS y Modelos Tabulares SSAS), motores de bases de datos deseados: ORACLE, NETEZZA, TERADATA, SQL). Conocimiento deseable en Cloud como: AWS, GCP, Azure Cloud, DataLake, DataFactory, DataBricks y Analysis Services.

Las principales tecnologias que encontre:

  • Python
  • SQL / NoSQL
  • Batch Processing
  • Hadoop
  • Spark

Un punto bien interesante del Data Engineer es que tiene un perfil muy similar al de desarrollador por el stack de tecnologías que debe conocer, así como la matemática no tan compleja como por el ejemplo el caso d eun Data Scientist. Es un buen perfil para aquellos que sean desarrolles y quieran realizar un cambio sin tener que olvidar los conocimientos que ya han utilizado.

Se ve un poco extensa la ruta, bastantes cosas por aprender.

Ya no se que elegir!! todos se escuchan muy pro.

En mi opinión este capitulo me confundió un poco, entiendo la finalidad de entender que hace un Data Engineer, pero quizás para esta instancia de curso, fue mucho más allá en las herramientas y tecnologías.

Requisitos

  • Carrera: Ingeniería de Sistemas, Ingeniería Informática o carrera afín.
    Conocimientos en Cloud Computing, Analytics y Big Data, Transformación digital, AWS, GCP y/o Azure,etc.
  • Conocimiento de AWS: Athena, Amazon Glue, Pyspark, Amazon Redshift, Amazon S3, Amazon DMS.
  • Conocimiento de Google Cloud Platform: BigQuery, cloud dataflow, cloud composer, cloud dataflow, cloud storage, cloud functios.
  • Experiencia mínima de 3 años en Business Intelligence en gestión e implementación de proyectos.
  • Experiencia mínima de 2 años en explotación de bases de datos (Imprescindible)
  • Conocimiento de diseño, construcción y mantenimiento de sistema de procesamiento de datos
  • Conocimiento de modelado de datos.
  • Conocimientos de virtualización y despliegue en cloud (Imprescindible)
  • Manejo a nivel intermedio/alto en Java, Python/Scala (Tratamiento, Exposición de datos- APIs).
  • Interés por las nuevas tendencias en el procesamiento de grandes volúmenes de Datos (Big Data).
  • Conocimiento de metodologías Agiles (Scrum).
  • Idiomas: Inglés – Nivel Intermedio.
  • Experiencia en SQL, conocimiento en lenguajes de bases no relacionadas es un plus: MongoDB, Amazon DynamoDB.

Responsabilidades

  • Desarrollar un proceso para transformar los datos de la empresa para que puedan ser analizados y utilizados por los científicos de datos. Estos datos provienen de fuentes como bases de datos y archivos de texto.
  • Diseñar, desarrollar, probar y desplegar procesos de extracción, Transformación y Carga (ETL) de datos estructurados y no estructurados a la nube (AWS, Google).
  • Procesamiento de información de gran volumen utilizando tecnologías de big data en la nube (AWS, Google).
  • Realizar consultas complejas sobre los datos, asegurando la accesibilidad y el buen funcionamiento del sistema.
  • Optimizar el rendimiento del ecosistema de Big Data.
  • Optimizar código Python para ejecutarlo en C o Java.
  • Uso de herramientas de versionado e integración continua
    Educar y entrenar
  • Participar en asegurar el cumplimiento y la gobernanza durante el uso de los datos.

Competencia

  • Habilidades de comunicación.
  • Habilidad de análisis.
  • Pensamiento crítico.
  • Enfoque en resultados.
  • Trabajo en equipo Idiomas: Inglés
  • Conocimientos: Python, Big Data

Disponibilidad para viajar: No

Disponibilidad para cambio de residencia: No

Fuente: https://www.linkedin.com/jobs/search/?currentJobId=2992855370&f_PP=101312395&f_TPR=r604800&geoId=102927786&keywords=data engineer&location=Peru&sortBy=R

Información resumida de esta clase
#EstudiantesDePlatzi

Herramientas y Tecnologías

  • Python
  • Bases de ingeniería
  • Linux
  • Automatizar
  • Jupyter Notebooks
  • Bases de datos SQL y NoSQL
  • Librerías, Panda, Dask, y Spark
  • Airflow
  • Tecnologías Cloud
  • Contenedores Dacker
  • Orquestadores Kubernetes

Matemáticas

  • Estadística Descriptiva

Quedé re-perdido

yo en mi anterior trabajo realice muchos ETL y fue incomodo para mi utilizar jupyter se me vino mejor el visual studio code

Interesante una herramienta hoy en día: HEVO https://hevodata.com/
En línea donde ya hace toda la magia para conectarse a cualquier fuente de datos y permite hacer las transfomaciones a través de python o utilizando una herramienta gráfica

Creo que este rol es el que más conocimiento necesita junto con el Data Scientist, porque maneja varios programas a la vez, lo fundamental aquí es automatizar procesos y el respaldo en la nube.

Encontré esto: (Anuncio de Data Engineer BCP Perú)

Nuestras responsabilidades principales son:
• Implementar soluciones de información (realizar los mapeos de información, realizar los scripts, puesta en producción de los nuevos códigos, pruebas de calidad de todo el proceso, verificación de resultados).
• Automatizar y optimizar procesos (realizar análisis de capacidad de procesamiento, tiempos de procesamiento, identificar los puntos de dolor, plantear alternativas de solución, implementar la solución óptima, realizar la puesta en producción, aplicación del sistema en control).
• Realizar la atención de requerimientos en temas de agilidad.
• Efectuar la ingesta de información en SQL y/o Datawarehouse.

Debes postular a este rol solo si …
• Si eres Egresado o Bachiller en Ingeniería de Sistemas, Ingeniería Informática y/o afines.
• Si tienes experiencia de 1 año y 6 meses como Analista Junior de Bussines Intelligence, Data Analyst, Data Engineer.

Sobre todo si dominas …
• PL SQL / SQL (Nivel Intermedio).
• Python (Nivel Básico).
• Big Data (Básico – Intermedio).
• SAS (Deseable).

¿Qué beneficios disfrutarás?

Avenue Code is the leading software consultancy focused on delivering end-to-end development solutions for digital transformation across every vertical. We’re privately held, profitable, and have been on a solid growth trajectory since day one. We care deeply about our clients, our partners, and our people. We prefer the word ‘partner’ over ‘vendor’, and our investment in professional relationships is a reflection of that philosophy. We pride ourselves on our technical acumen, our collaborative problem-solving ability, and the warm professionalism of our teams.

About the opportunity:

We are looking for a passionate, talented, and innovative Data Engineer to gain insights to support the recommendation system use cases, building pipelines for efficient data, supporting machine learning engineers for data needs, integrating production services, as well as building reporting dashboards.

Required Qualifications:
Expertise in Data structures, Object-oriented programming, functional programming and,
familiarity with microservices and cloud Technologies.
Knowledge of programming languages- Python, SQL, Java.
Experience in BigData and NoSQL technologies like Cassandra, Big Table or equivalent.
Experience in writing SQLs to get analytical data from Google Big Query or equivalent OLAP
databases.
Familiarity with model assessment and validation
Experience in designing event driven mechanisms, publish/subscribe models.
Experience in writing automated tests - Unit/Integration tests.
Experience with cloud computing on at-least one of major providers (Google Cloud Platform,
AWS or Azure).

Does this sound like you? Apply now to become an Avenue Coder! .