Reentrenamiento y control de salud de servicios

Cursos Empresas Blog Live Conf Precios

Contenido del curso

Introducción a la ingeniería de datos

Herramientas del ciclo de DataOps

Ejerciendo como Data Engineer

Conclusiones

Tomar examen

Reentrenamiento y control de salud de servicios

Comentarios

Ian Cristian Ariel Yané

Estudiante

Luego de la busqueda y analizar certificaciones, estudios, experiencias, me di cuenta de tres puntos importantes:

Mucho conocimiento de manejo de datos SQL y NoSQL
Manejan muy bien ingles
No son conocimientos de la nasa nesesariamente, la mayoria tenian cursos de linkedin y alguno de udemy ademas de los estudos formales.

Ricardo Alanis

Profesor

Asi es! <3 bien por el research!

Miguel Angel Reyes Moreno

Estudiante

No olvidemos también:

Python
Linux

Pablo .

Estudiante

Esto del Model drifting es similar a la curva del olvido. Para lo cuál la técnica más efectiva para retener cosas en el tiempo es la repetición espaciada o lo que se llama aquí "Reentrenar modelo". Por supuesto, una está enfocada en retener información y la otra en continuar vigente, ambas a lo largo del tiempo. . El reto:

Tienen educación universitaria mínima. (Consulté a 10 personas de ML eng en LinkedIn)
La gran mayoría cuenta con un MSc o especialización
Algoritmos (modelos estadísticos)
Despliegue
ETL y algunas habilidades de data eng
Estadística + Liempieza de datos + EDA (aunque esto se sobreentiende en estadística)
Python
Conocimientos de la nube y despliegue de modelos
Metodologías ágiles
Git
No puede faltar, SQL

Ricardo Alanis

Profesor

Que increible analogía! si lo veo!

Gracias por compartir!

Julian Castro Pulgarin

Estudiante

Ese rol es magnífico, mi favorito en Data; me falta muucho para llegar a considerarme uno pleno, pero vamos bien encaminados; este rol es como ese unicornio del mundo de los datos

Ricardo Alanis

Profesor

Dale, Julián!

Adrián Felipe Rueda Castellanos

Estudiante

Hola Julián. Me llamó la atención tu comentario: por qué consideras que es el unicornio entre todos los perfiles de Data?

Mi Chu

Estudiante

Yo los MachLearns que sigo en LinkedIn provienen de las áreas médico biológicas e hicieron su cambio al área tech 😎 Se dedican a hacer desde el uso de modelados de IA para videojuegos (tipo COD), ser Lead Team o hasta ser founders de exitosas startups de diversos ámbitos 🤩 me sorprende lo rápido que crecieron 😱

Ricardo Alanis

Profesor

Así es, el siguiente puedes ser tú!

Mi Chu

Estudiante

Andrea Aranda

Estudiante

Por lo que pude ver, todos tienen una trayectoria similar:

Comenzaron como Data Analysts o como Ingenieras de Software
Senior D.A.
Data Scientists
Data Engineers
ML Engineer

Además, tienen certificaciones de Microsoft, Google y Amazon y cursos de otras plataformas. Cuentan con educación superior.

Ricardo Alanis

Profesor

Gracias por compartir!

Daviel Antonio Jiménez Comas

Estudiante

Mi resumen de la clase: Los modelos en aprendizaje automático conforme pasan el tiempo van siendo menos útiles, porque las cosas van cambiando. Esto a través de los nuevos datos, para generar nuevos modelos. Haciendo así que le modelo sea mas eficiente en el tiempo.

Ricardo Alanis

Profesor

Santiago Ahumada Lozano

Estudiante

Un sueño: ML Engineer para videojuegos, futbol, medicina o incluso conducción automática💚

Ricardo Alanis

Profesor

Estan grandoootas esas areas, agarra una y a especializarse!

Alfredo Olmedo

Estudiante

Data Engineer

Rol Principal: Los Data Engineers son responsables de diseñar, construir y gestionar las infraestructuras de datos. Se aseguran de que los datos estén disponibles y sean de alta calidad para los análisis y aplicaciones.

Responsabilidades:

Diseño y Desarrollo de Pipelines de Datos: Crear y mantener sistemas que recojan, transformen y almacenen datos.
Integración de Datos: Unir datos de diferentes fuentes y asegurar su calidad y consistencia.
Optimización del Rendimiento: Mejorar la eficiencia de los sistemas de procesamiento de datos.
Gestión de Bases de Datos: Administrar y asegurar la infraestructura de bases de datos.

Habilidades Clave:

Conocimiento en herramientas como Apache Hadoop, Apache Spark, y bases de datos como SQL y NoSQL.
Habilidades en programación (Python, Java, SQL).
Comprensión de arquitecturas de datos y ETL (Extracción, Transformación, Carga).

ML Engineer (Ingeniero de Aprendizaje Automático)

Rol Principal: Los ML Engineers se enfocan en la implementación y mantenimiento de modelos de aprendizaje automático. Se centran en la integración de estos modelos en sistemas de producción.

Responsabilidades:

Desarrollo de Modelos: Crear y entrenar modelos de aprendizaje automático basados en datos.
Implementación y Despliegue: Integrar modelos en aplicaciones y sistemas productivos.
Optimización de Modelos: Mejorar la precisión, eficiencia y rendimiento de los modelos.
Monitorización y Mantenimiento: Asegurar que los modelos funcionen correctamente y se adapten a los cambios en los datos.

Habilidades Clave:

Conocimiento en algoritmos de aprendizaje automático y técnicas de modelado.
Competencia en programación (Python, R) y herramientas de ML (TensorFlow, PyTorch).
Experiencia en técnicas de evaluación y validación de modelos.

Similitudes

Programación: Ambos roles requieren habilidades de programación, aunque los lenguajes y herramientas pueden diferir.
Colaboración: Trabajan en equipo con analistas de datos, científicos de datos y otros ingenieros.
Manipulación de Datos: Ambos necesitan manejar y procesar grandes volúmenes de datos.

Diferencias

Enfoque en Datos vs. Modelos: Los Data Engineers se centran más en la infraestructura y calidad de los datos, mientras que los ML Engineers se enfocan en los modelos y su implementación.
Herramientas y Tecnologías: Aunque hay solapamientos, las herramientas y tecnologías específicas pueden variar significativamente entre ambos roles.

Yeimmy Andrea Ramirez Jimenez

Estudiante

Experiencia con grandes cantidades de datos de diferentes fuentes Buenas habilidades en programación Experiencia en el desarrollo de aplicaciones Comprensión de algoritmos Experiencia con diferentes tipos de bases de datos: Relacional, NoSQL, Grapth, document, columnar, Time series

Ricardo Alanis

Profesor

Gracias por compartir!

Elvis Alexander Espinoza

Estudiante

Este es un curso bastante teórico y esta muy bueno, los slices de este curso están disponibles ¿? Ya que hay varias diapositivas súper interesantes y de mucho valor.

Ricardo Alanis

Profesor

Dejame reviso con las personas del curso, vi en la interfaz y me parece que no! Pero regreso contigo!

Ricardo Alanis

Profesor

Me comentan que "los puedes descargar en pdf en la clase 1 del curso y asi es en todos los cursos"

Asi me dijeron :p

Leonel Bravo

Estudiante

Sumo algunos skills que ví:

LLMOps · Graph Neural Networks · Research and Development (R&D) · MLOps · Amazon Web Services (AWS) · TensorFlow · PyTorch · Computer Vision · Natural Language Processing (NLP) · Machine Learning · Python (Programming Language)

Ricardo Alanis

Profesor

Gracias por compartir!

Daniel Bastidas

Estudiante

les comprato unos requisitos para ML, hoy es 12 Marzo de 2024 Main Requirements:

4+ years of machine learning engineering experience
Bachelor’s Degree in Computer Science or related
Experience with Python, machine learning libraries and AI/ML frameworks (PyTorch, HuggingFace, TensorFlow, Keras, Scikit-learn, Spark etc.)
Strong understanding of statistical, machine learning and deep learning algorithms. Candidates with NLP experience preferred.
Experience building GenAI solutions, namely prompt engineering (e.g: Langchain), fine-tuning and serving LLMs, search and embeddings, etc.
Experience with MLOps, favorably in AWS (e.g: Sagemaker) as well as standards tools (e.g: MLFlow)
Experience visualizing and manipulating big datasets
Ambition to learn and grow into different industries with a modern tech stack
Autonomy, adaptability an

Andres Sanchez

Estudiante

18. Reentrenamiento y control de salud de servicios

Operate

Model drifting → Reentrenar el modelo
Entregar nuevos modelos

Ricardo Alanis

Profesor

JOSE VICENTE DIAZ OSPINA

Estudiante

Los que encontré en Linkedin tienen habilidades en:

Matemática y estadística
Python
SQL
Spark
Ingles

Ricardo Alanis

Profesor

Gracias por compartir!

Luis Alberto Ramírez Castellanos

Estudiante

Buena explicacion.

Ricardo Alanis

Profesor

Juan Felipe Nivia

Estudiante

El "model drifting" o "drift de modelo" se refiere a la degradación del rendimiento de un modelo de machine learning con el tiempo debido a cambios en los datos subyacentes. Este fenómeno puede ocurrir por diversas razones, como cambios en el comportamiento del usuario, nuevas tendencias, o variaciones estacionales. Para manejar el model drifting, es crucial implementar monitoreo continuo y técnicas de reentrenamiento del modelo. En el contexto de la ingeniería de datos, esto se relaciona con la importancia del ciclo de DataOps y la automatización para asegurar que los modelos se mantengan actualizados y efectivos.

Santiago Andres Gelvez Camargo

Estudiante

Por lo que veo, en los requisitos es similar al DE pero con algunas herramientas y funciones diferentes o adicionales.

Diego Rivadeneira

Estudiante

Buenos días! Muy buena explicación. Me encantaría llegar a trabajar como ML Engineer. Actualmente tengo una ingeniería en mecatrónica y he emprendido varios años en fabricación digital. Sin embargo me gustaría pasarme a un campo totalmente digital y en el que pueda diseñar solucionar y aportar más sin tener las limitaciones que tiene el desarrollo de productos físicos. Cuál sería la ruta de aprendizaje óptima que recomienda en mi caso?

Ricardo Alanis

Profesor

Estas empezando en un gran lugar al empezar en data engineer. Me parece que si profundizas en las herramientas de despegado de modelos, principios de modelacion y deep learning, completaras un gran perfil!

David Issa Correa

Estudiante

Pero donde estan las horas de practica que dice ahi, el profesor solo habla y no coge un computador ni hace nada en ningun momento??

Nicolás Martín González Sosa

Estudiante

por que es un curso de fundamentos, si queres para la practica fijate la ruta de estudio y enfoca en tu propia practica.

Kevin Acevedo

Estudiante

Algo que encontré en común en muchos de los perfiles que vi, es que solían ser ingenieros de software que se cambiaron a la rama de ML.

Introducción a la ingeniería de datos

¿Qué es ingeniería de datos? ¿Qué es Data Engineer?

Formación Integral para Data Engineers: Retos y Herramientas Esenciales

¿Cómo convertirte en Data Engineer?

¿Dónde ejercer como Data Engineer?

Tareas de Data Engineer: DataOPs

Herramientas del ciclo de DataOps

Agile en ingeniería de datos

Lenguajes de programación e ingeniería de software

¿Dónde y cómo escribir tu código en ingeniería de datos?

Automatización y scripting

Fuentes de datos: SQL, NoSQL, API y web scraping

Procesamiento de datos: pipelines, Apache Spark y cómputo paralelo

Automatizar los pipelines: Airflow

Containers y empaquetamiento: Docker y Kubernetes

Manejo de ambientes para datos

Testing de software y de datos

CI/CD basico

Servidores y computación en la nube para data