Cursos Empresas Blog Live Conf Eventos Precios

0:002:57

Medición de indicadores y seguimiento a proyectos

Curso de Fundamentos de Ingeniería de Datos

Clase 19 / 25

Ver clases

Medición de indicadores y seguimiento a proyectos

Curso de Fundamentos de Ingeniería de Datos

Clase 19 de 25

Clase 19 / 25

Medición de indicadores y seguimiento a proyectos

Curso de Fundamentos de Ingeniería de Datos

Clase 19 / 25

Ver clases

Comentarios

Ian Cristian Ariel Yané#4477046

En internet no encontre nada, pero si me paso en un empleo pasado, en una central de monitoreo Resulta que (segun me comentaron) una persona que se encargaba de la parte de DBA borro accidentalmente todos los datos de los clientes, seguro hizo un "delete" sin "where", esto sin bien no tiene que ver con algo automatizado y a lo que se le haga seguimiento, tambien es algo a considerar para el rol de Data Engineer

Daviel Antonio Jiménez Comas#4640724

Mi resumen de la clase:

Al dejar cosas corriendo debemos de tener muy en cuenta el monitoreo, debemos saber cómo están funcionando las cosas que querremos y de qué manera estamos trabajando con ello. Cuando no medimos nos volvemos loco con saber que fallo, medir es tan importante como generar un modelo de aprendizaje automático. Debemos de saber cuáles son los puntos de riesgo de nuestros datos. Debemos de tener visibilidad a través de dos niveles: Dashboards y alertas y notificaciones de cuando las cosas fallan.

Miguel Angel Reyes Moreno#4480517

No medir es DOLOROSO.

Ian Cristian Ariel Yané#4477062

Como catastrofe que pueda pasar se me ocurre que se limpien datos de mas (perdida de informacion valiosa), uso exesivos e inecesarios de recursos en la nuve, o acceso de usuarios no autorizados

Sergio Brandon De Lucio Chavero#4579820

Consejo general, capturen toda la data y después comienzan a decidir cuál les será útil, al menos cuando vayan iniciando una aplicación, integración, etc.

Bryan Carvajal#4512107

Perder data valiosa, es un error garrafal. Es como olvidar la historia y destruir la materia prima para la continuidad de un negocio. Todavia en la actualidad ocurren esas cosas. Muchas veces son errores de novato y en ese momento aprendemos jeje

Janett Venegas Martínez#5650978

¿Cuál es la mejor forma de rastrear errores?

La estrategia mejor forma de rastrear errores es implementar un sistema de trazabilidad distribuida y centralización de logs. En lugar de entrar servidor por servidor a leer archivos de texto plano, debes enviar todos los registros de tus aplicaciones, bases de datos y orquestadores a un único lugar, usando herramientas como el stack ELK (Elasticsearch, Logstash, Kibana) o Splunk.

Para que esto funcione, cada ejecución de tu pipeline debe generar un correlation_id (un identificador único). Si un registro falla en la etapa de extracción, transformación o carga, ese identificador te permitirá buscar en tu panel centralizado y ver exactamente la ruta que tomó el dato antes de romperse. Además, clasificar los errores por niveles (INFO, WARNING, ERROR, CRITICAL) te ayudará a filtrar el ruido y enfocarte rápidamente en la raíz del problema sin perder horas adivinando qué falló.

JOSE VICENTE DIAZ OSPINA#4707659

En internet no hay ejemplos claros, pero algunos pueden ser:

Perdida parcial o total de la data
Entrega de información errada para toma de decisiones sensibles
Costos excesivos por recursos innecesarios en cloud.

Steven Alvarez Holguin#4545348

Como una experiencia propia, en la empresa tenemos la plataforma de Splunk, esta plataforma, según como se configure, cobra por la capacidad de data que se ingresa. Teóricamente se tiene un limite de capacidad, pero si se da la necesidad, puedes sobrepasarlo y la plataforma te cobra extra el excedente. Nadie solía monitorear cuanto se estaba consumiendo de esa capacidad. En una ocasión hicieron que una nueva plataforma de seguridad cargara los logs sobre Splunk y la persona que hizo la configuración no verificó que información estaba enviando. Resultó que la plataforma estaba enviando TODOS los logs cuando no eran necesarios. Se triplicó el límite de consumo. Afortunadamente, Splunk nos envío una notificación ofreciéndonos una capacidad limite superior debido al alto consumo, por lo que pudimos solucionarlo antes de que los costos subieran como los cohetes de SpaceX. Obviamente hubo un sobrecosto ese mes, pero no fue tan alto como hubiese podido ser.

Alfredo Olmedo#5293652

Mejores Prácticas para el Monitoreo de un Data Engineer

Configurar Alertas: Implementa alertas para eventos críticos como fallos en los pipelines de datos, problemas de calidad de los datos o interrupciones del sistema. Esto ayuda a identificar y abordar problemas rápidamente.
Usar Herramientas de Monitoreo: Utiliza herramientas como Apache Airflow, Grafana, Prometheus y DataDog para monitorear la salud y el rendimiento de los pipelines de datos.
Seguir la Calidad de los Datos: Monitorea continuamente la calidad de los datos para detectar anomalías, valores faltantes o inconsistencias. Herramientas como Great Expectations o Deequ pueden ayudar con esto.
Gestión de Registros (Logs): Mantén registros completos de todos los procesos de datos para facilitar la resolución de problemas y las auditorías. Herramientas como ELK Stack (Elasticsearch, Logstash, Kibana) son comúnmente utilizadas para este propósito.
Métricas de Rendimiento: Sigue métricas clave de rendimiento como los tiempos de procesamiento de datos, el rendimiento y la utilización de recursos para asegurar un rendimiento óptimo.
Automatización del Monitoreo: Automatiza tareas de monitoreo repetitivas para reducir el esfuerzo manual y minimizar errores humanos. Esto se puede lograr utilizando herramientas de gestión de flujos de trabajo como Apache Airflow o Luigi.
Validación de Datos: Implementa comprobaciones de validación de datos en varias etapas del pipeline de datos para asegurar la integridad y corrección de los datos.
Auditorías Regulares: Realiza auditorías regulares de los pipelines de datos para identificar posibles problemas y áreas de mejora.

Herramientas de Monitoreo

Apache Airflow:
- Descripción: Un framework de flujo de trabajo de código abierto para la creación, programación y monitoreo de flujos de trabajo.
- Usos: Programar y monitorear pipelines de datos.
Grafana:
- Descripción: Una plataforma de código abierto para la visualización y monitoreo de datos.
- Usos: Crear cuadros de mando y gráficos interactivos para monitorear métricas de rendimiento y salud del sistema.
Prometheus:
- Descripción: Un sistema de monitoreo y alerta de código abierto.
- Usos: Recolectar y almacenar métricas de tiempo y generar alertas en función de ciertos criterios.

Comentarios

Ian Cristian Ariel Yané#4477046

Daviel Antonio Jiménez Comas#4640724

Mi resumen de la clase:

Miguel Angel Reyes Moreno#4480517

No medir es DOLOROSO.

Ian Cristian Ariel Yané#4477062

Como catastrofe que pueda pasar se me ocurre que se limpien datos de mas (perdida de informacion valiosa), uso exesivos e inecesarios de recursos en la nuve, o acceso de usuarios no autorizados

Sergio Brandon De Lucio Chavero#4579820

Consejo general, capturen toda la data y después comienzan a decidir cuál les será útil, al menos cuando vayan iniciando una aplicación, integración, etc.

Bryan Carvajal#4512107

Janett Venegas Martínez#5650978

¿Cuál es la mejor forma de rastrear errores?

JOSE VICENTE DIAZ OSPINA#4707659

En internet no hay ejemplos claros, pero algunos pueden ser:

Perdida parcial o total de la data
Entrega de información errada para toma de decisiones sensibles
Costos excesivos por recursos innecesarios en cloud.

Steven Alvarez Holguin#4545348

Alfredo Olmedo#5293652

Mejores Prácticas para el Monitoreo de un Data Engineer

Configurar Alertas: Implementa alertas para eventos críticos como fallos en los pipelines de datos, problemas de calidad de los datos o interrupciones del sistema. Esto ayuda a identificar y abordar problemas rápidamente.
Usar Herramientas de Monitoreo: Utiliza herramientas como Apache Airflow, Grafana, Prometheus y DataDog para monitorear la salud y el rendimiento de los pipelines de datos.
Seguir la Calidad de los Datos: Monitorea continuamente la calidad de los datos para detectar anomalías, valores faltantes o inconsistencias. Herramientas como Great Expectations o Deequ pueden ayudar con esto.
Gestión de Registros (Logs): Mantén registros completos de todos los procesos de datos para facilitar la resolución de problemas y las auditorías. Herramientas como ELK Stack (Elasticsearch, Logstash, Kibana) son comúnmente utilizadas para este propósito.
Métricas de Rendimiento: Sigue métricas clave de rendimiento como los tiempos de procesamiento de datos, el rendimiento y la utilización de recursos para asegurar un rendimiento óptimo.
Automatización del Monitoreo: Automatiza tareas de monitoreo repetitivas para reducir el esfuerzo manual y minimizar errores humanos. Esto se puede lograr utilizando herramientas de gestión de flujos de trabajo como Apache Airflow o Luigi.
Validación de Datos: Implementa comprobaciones de validación de datos en varias etapas del pipeline de datos para asegurar la integridad y corrección de los datos.
Auditorías Regulares: Realiza auditorías regulares de los pipelines de datos para identificar posibles problemas y áreas de mejora.

Herramientas de Monitoreo

Apache Airflow:
- Descripción: Un framework de flujo de trabajo de código abierto para la creación, programación y monitoreo de flujos de trabajo.
- Usos: Programar y monitorear pipelines de datos.
Grafana:
- Descripción: Una plataforma de código abierto para la visualización y monitoreo de datos.
- Usos: Crear cuadros de mando y gráficos interactivos para monitorear métricas de rendimiento y salud del sistema.
Prometheus:
- Descripción: Un sistema de monitoreo y alerta de código abierto.
- Usos: Recolectar y almacenar métricas de tiempo y generar alertas en función de ciertos criterios.

Comentarios (34)34 comentarios

Ian Cristian Ariel Yané

Hace 4 años

Ricardo Alanis

Profesor

X_X esos deletes sin where son famososo en la industria. SIEMPRE SIEMPRE SIEMPRE chequen que sus consultas tengan un where si especialmente estan modificando algo!

Miguel Angel Reyes Moreno

No te olvides de poner el where en el delete from 🎶

Daviel Antonio Jiménez Comas

Totalmente!

Si, eso de la limpieza de datos, siempre es importante guardar sin sobreescribir. Es más costoso en disco duro, pero eso es mejor que perder información!

Pablo .

Una recomendación que hace Cassie Kozyrkov (canal de youtube) es que los outliers no se los eliminen. Más bien, almacenarlos en alguna parte (o como una variable diferente para tenerla disponible) porque en otro contexto o para futuros análisis los outliers pueden tener información valiosa, que en caso de eliminar, puede representar pérdida de información importante para el negocio.

Sergio Brandon De Lucio Chavero

Mas vale trabajar en abundancia que en escasez!

Bryan Carvajal

Janett Venegas Martínez

Hace 5 meses•editado

JOSE VICENTE DIAZ OSPINA

Gracias por compartir! <3

Steven Alvarez Holguin

Siempre importante tener ese control de calidad en lo que hacemos y como lo hacemos!

Alfredo Olmedo

Hace 2 años

Apache Airflow:
- Descripción: Un framework de flujo de trabajo de código abierto para la creación, programación y monitoreo de flujos de trabajo.
- Usos: Programar y monitorear pipelines de datos.
Grafana:
- Descripción: Una plataforma de código abierto para la visualización y monitoreo de datos.
- Usos: Crear cuadros de mando y gráficos interactivos para monitorear métricas de rendimiento y salud del sistema.
Prometheus:
- Descripción: Un sistema de monitoreo y alerta de código abierto.
- Usos: Recolectar y almacenar métricas de tiempo y generar alertas en función de ciertos criterios.
DataDog:
- Descripción: Una plataforma de monitoreo de infraestructura y aplicaciones en la nube.
- Usos: Monitorear el rendimiento de las aplicaciones, rastrear métricas de datos y crear alertas.
ELK Stack (Elasticsearch, Logstash, Kibana):
- Descripción: Una suite de herramientas de código abierto para la búsqueda, análisis y visualización de registros generados por diferentes fuentes.
- Usos: Gestión de registros, análisis de logs y creación de visualizaciones interactivas.

Herramientas de Calidad y Validación de Datos

Great Expectations:
- Descripción: Un framework de código abierto para la validación, documentación y perfilado de datos.
- Usos: Asegurar la calidad de los datos mediante la definición de expectativas y comprobaciones automatizadas.
Deequ:
- Descripción: Una biblioteca de Scala y Apache Spark para el análisis y validación de la calidad de los datos.
- Usos: Realizar análisis y comprobaciones de calidad en grandes volúmenes de datos.

Herramientas de Gestión y Orquestación de Flujos de Trabajo

Luigi:
- Descripción: Una biblioteca de Python para la construcción de pipelines de datos complejos.
- Usos: Orquestación de trabajos y dependencias en pipelines de datos.
Prefect:
- Descripción: Un framework de flujo de trabajo de código abierto para la creación, ejecución y monitoreo de flujos de trabajo.
- Usos: Gestión de flujos de trabajo y orquestación de tareas.

Jorge Andrés Mosquera Valdez

Hace 3 años

En un lugar en el que trabaje hace algunos años, se tenía una etl que consolidaba información de distintos aplicativos Core de la empresa, pero resulta que hacía varios meses que no estaba cargando lo datos de uno de esos aplicativos, reconstruir y reprocesar esa información no cargada llevo varios meses sobre todo por el tema de reconstrucción.

Jhoan Sebastian Lozano Gutierrez

Hace 2 meses

La falta de monitoreo puede provocar pérdidas de información, corrupción de datos y largas interrupciones de servicio. Un ejemplo ocurrió en GitLab en 2017, cuando se eliminaron accidentalmente datos de la base de datos principal.

Configurar alertas para mis proyectos, es recomendable hacerlo desde el momento en que tu proyecto de datos pasa a un entorno de producción o staging avanzado. No esperes a que los usuarios finales (como los científicos de datos o analistas de BI) te avisen que un tablero está vacío o que los números no cuadran; esa es la peor forma de enterarse de un fallo.

Miguel Angel Sierra Cruz

El caso que mas recuerdo es del pantallazo azul masivo que hubo en todo el mundo por culpa de una actualización de Microsoft en la cual el problema fue que una actualización estuvo defectuosa y al lanzarla a producción ocurrió este gran problema.

Jansenio Gonzales Venegas

Hace 5 meses

Fue la actualizacion de antivuris CrowdStrike. En la organizacion que labore se habian bloqueado ya que estaba integrada con clave de disco. Recuerdo que si hubo mucho trabajo mas de 500 laptops.

La filtración de datos de Yahoo sigue siendo la mayor filtración de datos

Danny Montenegro

Hace 8 meses

Es valido hacer copia de seguridad de los datos en bruto? para no tener problemas de perdida de datos, la pregunta va enfocada al costo de este proceso y al manejo de gran cantidad de datos

Ana Giraldo

Todas las desastres que encontré están relacionados con accesos no autorizados a los datos, ¿existe algos así como una taxonomía de desastres en el contexto del manejo de los dados?

Kevin Acevedo

Hace un año

En la última empresa en la que trabajé, no se monitorizaba absolutamente nada; como consecuencia, todos los productos terminaban en un pésimo estado, puesto que los errores como era de esperarse aparecían y no había como ni con que encontrar las soluciones de manera efectiva.

María Requenes Ramos

Los desastres por falta de monitoreo suelen ocurrir cuando no se implementan sistemas adecuados para prever, detectar o responder a fenómenos naturales o antrópicos, lo que agrava sus consecuencias. A continuación, se presentan algunos ejemplos históricos y recientes de desastres donde la ausencia o insuficiencia de monitoreo jugó un papel clave, junto con un análisis de las causas y lecciones aprendidas. Los casos se basan en información general y en los resultados de búsqueda proporcionados, enfocándose en eventos donde la falta de monitoreo fue un factor determinante.

1. Terremoto de México (1985)

Descripción: El 19 de septiembre de 1985, un sismo de magnitud 8.1 golpeó la Ciudad de México, causando más de 10,000 muertes y daños masivos.
Falta de monitoreo: Antes del evento, México carecía de un sistema robusto de monitoreo sísmico y alerta temprana. No existían organismos especializados como el Centro Nacional de Prevención de Desastres (CENAPRED), y la planificación urbana no consideraba adecuadamente los riesgos sísmicos. Muchas construcciones no cumplían con normas antisísmicas debido a la falta de inspecciones y monitoreo continuo.
Consecuencias: La falta de monitoreo y preparación resultó en colapsos de edificios, hospitales y escuelas, amplificando las pérdidas humanas y materiales.
Lecciones aprendidas: Tras el desastre, México creó el Sistema Nacional de Protección Civil y CENAPRED para monitorear riesgos sísmicos y mejorar la preparación. También se implementó el Sistema de Alerta Sísmica Mexicano (SASMEX), que detecta temblores y emite alertas en tiempo real

Ruben Herrera

Un ejemplo real fue el caso de Knight Capital Group (2012). Una falla en su sistema de trading automatizado causó pérdidas de $440 millones en 45 minutos. Esto ocurrió por la falta de monitoreo y pruebas adecuadas al desplegar un código defectuoso en producción, lo que activó operaciones masivas de compra-venta erróneas.

En ingeniería de datos, esto ilustra cómo errores no detectados en pipelines o sistemas críticos pueden generar desastres financieros o pérdidas de datos valiosos.

Mario Alexander Vargas Celis

La falta de monitoreo adecuado en software puede llevar a múltiples desastres, tanto financieros como operativos, afectando a empresas, servicios en línea, e infraestructuras críticas. A continuación, se describen algunos de los desastres más comunes ocasionados por la falta de monitoreo:

1. Incidente del Facebook 2018 (Fallos en la seguridad)

Descripción: En 2018, un error en la configuración de privacidad permitió que cerca de 50 millones de cuentas de Facebook fueran vulneradas debido a un fallo en el monitoreo de accesos y la supervisión de vulnerabilidades en sus sistemas.
Consecuencia: Esto resultó en una pérdida significativa de confianza por parte de los usuarios, afectando la reputación y la estabilidad del servicio.

2. Incidente de AWS S3 (2017)

Descripción: En 2017, un error de configuración en un bucket de AWS S3 expuso accidentalmente millones de datos sensibles debido a la falta de un monitoreo adecuado en las políticas de almacenamiento y acceso.
Consecuencia: Pérdida de información sensible, exposición de datos privados de clientes y una pérdida de confianza en los servicios en la nube.

3. Downtime de AWS (2017)

Descripción: En 2017, un fallo en la región de AWS EC2 de Estados Unidos East 1 llevó a un apagón prolongado que afectó a múltiples servicios de empresas como Netflix, Slack y Reddit. El problema se debió a un error en el monitoreo de la capacidad del servidor y la disponibilidad.
Consecuencia: Gran interrupción en el funcionamiento de los servicios, pérdida de ingresos para las empresas afectadas y daño a la reputación del proveedor de servicios.

4. Rotura del sistema bancario en Brasil (2018)

Descripción: En Brasil, un sistema bancario sufrió una interrupción masiva debido a problemas de escalabilidad y falta de monitoreo eficiente, lo que llevó a la caída del servicio durante varias horas.
Consecuencia: Perdida significativa de operaciones financieras y pérdidas económicas para los usuarios.

5. Incidente de Capital One (2019)

Descripción: En 2019, Capital One sufrió una violación de datos importante debido a un acceso no autorizado a sus servidores. Esta brecha ocurrió porque los sistemas de monitoreo no identificaron a tiempo el acceso indebido.
Consecuencia: Exposición de datos personales de millones de clientes, lo que llevó a acciones legales y afectó severamente la confianza del cliente.

6. Fallo en las aplicaciones gubernamentales

Descripción: En algunos países, aplicaciones gubernamentales como portales de salud o educativos han sufrido interrupciones debido a la falta de monitoreo adecuado, lo que ha impedido el acceso a servicios críticos.
Consecuencia: Aislación de los ciudadanos, pérdida de productividad y, en algunos casos, problemas en la atención de emergencias o trámites importantes.

7. Interrupciones en servicios de transporte por falta de monitoreo

Descripción: Incidentes como apagones en plataformas de transporte público debido a la falta de monitoreo adecuado han llevado a la paralización del servicio, afectando millones de usuarios.
Consecuencia: Gran impacto en la logística urbana, pérdida de ingresos para las empresas del sector y malestar general de los usuarios.

Consecuencias Comunes de No Monitorear Adecuadamente:

Pérdida de Datos: Exposición de datos sensibles o importantes por fallas en la seguridad.
Interrupciones: Caídas prolongadas que afectan la disponibilidad y operatividad de servicios esenciales.
Pérdida Financiera: Pérdidas económicas significativas por parálisis en las operaciones y la falta de capacidad para responder rápidamente a incidentes.
Pérdida de Confianza: Daños a la reputación debido a problemas recurrentes, lo que impacta la relación con clientes, socios y usuarios.

Conclusión: La falta de monitoreo adecuado en software puede desencadenar desastres significativos, desde interrupciones de servicio hasta la exposición de datos sensibles, afectando la estabilidad operativa y financiera de las empresas y organizaciones. Por ello, es esencial implementar herramientas de monitoreo robustas y procesos de supervisión activos para prevenir estos incidentes.

Medición de indicadores y seguimiento a proyectos

Medición de indicadores y seguimiento a proyectos

Medición de indicadores y seguimiento a proyectos

Progreso del curso

Introducción a la ingeniería de datos

Herramientas del ciclo de DataOps

Ejerciendo como Data Engineer

Conclusiones

Medición de indicadores y seguimiento a proyectos

Medición de indicadores y seguimiento a proyectos

Comentarios

Mejores Prácticas para el Monitoreo de un Data Engineer

Herramientas de Monitoreo

Comentarios

Mejores Prácticas para el Monitoreo de un Data Engineer

Herramientas de Monitoreo

Herramientas de Calidad y Validación de Datos

Herramientas de Gestión y Orquestación de Flujos de Trabajo