Por qué fallan los equipos de ciencia de datos

Contenido del curso

Introducción

Web scraping

Pandas

Intro a Sistemas de Datos

Contenido Bonus

38
¿Por qué usar la nube?
04:05 min

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:005:43

Por qué fallan los equipos de ciencia de datos

Curso de Ingeniería de Datos con Python

Clase 4 de 38

Clase 4 / 38

Recursos

Comprende cómo se organiza un pipeline moderno de ciencia de datos y por qué los roles de data engineer, data scientist y machine learning engineer son esenciales para convertir datos en valor. La evolución del trabajo muestra que ya no se espera a una sola persona para todo, sino a un equipo que cubre cada parte crítica del proceso.

¿Cómo evolucionó la ciencia de datos y por qué cambió el equipo?

La figura del científico de datos “todólogo” generó fricciones. Muchas personas venían de biología, física o matemáticas, con experiencia limitada en ingeniería de software. El resultado: proyectos destinados a fallar, no por talento, sino por una mala concepción del equipo.

Hoy las definiciones son más claras y dinámicas. La disciplina es nueva, no tiene ni diez años, por eso las prácticas siguen ajustándose. De ahí surge la necesidad de tres roles que completan el pipeline de principio a fin.

¿Qué hace un data engineer y por qué habilita el valor?

Este es el rol base. El data engineer obtiene, limpia, estructura y automatiza el flujo de datos. Sin esta etapa, guardar datos no sirve: hay que moverlos y procesarlos para extraer valor.

¿Cómo obtiene y automatiza el flujo de datos?

Conseguir datos desde ventas en Excel o mediante sistemas de analíticas de usuarios.
Construir pipelines que automatizan extracción, movimiento y procesamiento.
Diseñar conectores tipo “tubo” que traen datos hacia los sistemas internos.
Priorizar mover y procesar los datos, no solo almacenarlos.

¿Qué es el análisis descriptivo en esta etapa?

El análisis descriptivo permite entender el estado real de los datos antes del modelado.

Identificar valores faltantes y su impacto.
Limpiar, enriquecer y dar estructura utilizable.
Preparar la inserción en un data warehouse para que el data scientist trabaje.

En el mundo real, los datos no vienen estructurados. Analizar datos no estructurados es, en pocas palabras, imposible.

¿Cómo se conectan data scientist y machine learning engineer para predecir a escala?

Con los datos listos, el data scientist realiza el análisis matemático, encuentra relaciones, correlaciones y causas, y construye modelos. Muchos modelos ya existen: hay que verlos como funciones con un input específico, entrenarlas con datos del negocio y producir predicciones.

¿Cómo trabaja el data scientist con modelos?

Buscar relaciones y correlaciones entre variables.
Tratar de encontrar causas de dichas relaciones.
Usar modelos existentes como funciones con el input correcto.
Entrenar con datos propios y generar predicciones.

¿Cómo escala y mantiene el machine learning engineer?

El machine learning engineer lleva las predicciones a producción y cuida su salud en el tiempo.

Subir modelos a la nube para generar muchas predicciones.
Operar predicciones a escala con confiabilidad.
Monitorear y mantener la calidad del modelo.
Evitar la degradación por datos de alimentación incorrectos.
Mantener la capacidad de la empresa para predecir en un estado óptimo.

¿Tienes dudas, preguntas, comentarios o fun facts? Compártelos en los comentarios para construir conocimiento en conjunto y encontrar respuestas claras.

Resumen

¿Cómo evolucionó la ciencia de datos y por qué cambió el equipo?

¿Qué hace un data engineer y por qué habilita el valor?

Este es el rol base. El data engineer obtiene, limpia, estructura y automatiza el flujo de datos. Sin esta etapa, guardar datos no sirve: hay que moverlos y procesarlos para extraer valor.

¿Cómo obtiene y automatiza el flujo de datos?

Conseguir datos desde ventas en Excel o mediante sistemas de analíticas de usuarios.
Construir pipelines que automatizan extracción, movimiento y procesamiento.
Diseñar conectores tipo “tubo” que traen datos hacia los sistemas internos.
Priorizar mover y procesar los datos, no solo almacenarlos.

¿Qué es el análisis descriptivo en esta etapa?

El análisis descriptivo permite entender el estado real de los datos antes del modelado.

Identificar valores faltantes y su impacto.
Limpiar, enriquecer y dar estructura utilizable.
Preparar la inserción en un data warehouse para que el data scientist trabaje.

En el mundo real, los datos no vienen estructurados. Analizar datos no estructurados es, en pocas palabras, imposible.

¿Cómo se conectan data scientist y machine learning engineer para predecir a escala?

¿Cómo trabaja el data scientist con modelos?

Buscar relaciones y correlaciones entre variables.
Tratar de encontrar causas de dichas relaciones.
Usar modelos existentes como funciones con el input correcto.
Entrenar con datos propios y generar predicciones.

¿Cómo escala y mantiene el machine learning engineer?

El machine learning engineer lleva las predicciones a producción y cuida su salud en el tiempo.

Subir modelos a la nube para generar muchas predicciones.
Operar predicciones a escala con confiabilidad.
Monitorear y mantener la calidad del modelo.
Evitar la degradación por datos de alimentación incorrectos.
Mantener la capacidad de la empresa para predecir en un estado óptimo.

¿Tienes dudas, preguntas, comentarios o fun facts? Compártelos en los comentarios para construir conocimiento en conjunto y encontrar respuestas claras.

Introducción

Pipelines automatizados con Python para ingeniería de datos

Archivos del curso y Slides

¿Qué es la ciencia de datos?

Por qué fallan los equipos de ciencia de datos

Configuración del ambiente

Jupyter Notebooks

Tipos de datos en ciencia de datos

Tipos de datos

Fuentes de datos

ETL: extract, transform y load explicado

Web scraping

Web scraping para data engineers: HTML y metadatos

Cómo hacer solicitudes HTTP con Python Requests

¿Cómo trabajar con un documento HTML?

Analizando un sitio web para encontrar las directivas a utilizar al hacer un web scrapping

Page Object Pattern para web scrapers

Implementando nuestro web scrapper: Configuración

Page Objects para extraer vínculos de noticias

Implementando nuestro web scrapper: Obteniendo artículos

Obtención de datos del Artículo

Persistiendo la información "scrapeada"

Pandas

Series vs DataFrame en Pandas

Qué es Series en Pandas y cómo crearlas

Estructura de datos: DataFrames

Índices y selección

Data wrangling con Pandas

Creación de la receta: preparando la automatización

Cómo rellenar datos faltantes en Pandas con regex

Pandas .loc y regex para títulos faltantes

Limpiando detalles adicionales

Generar UUIDs con MD5 en pandas

Enriquecimiento de los datos

Eliminación de duplicados con drop_duplicates en Pandas

Creando tu receta de limpieza de datos

Visualización de datos

Intro a Sistemas de Datos

Introducción a los sistemas de datos

Automatización del Pipeline

Carga de CSV a SQL con SQLAlchemy y pandas

Contenido Bonus

¿Por qué usar la nube?

Por qué fallan los equipos de ciencia de datos