Medición de indicadores y seguimiento a proyectos

En internet no encontre nada, pero si me paso en un empleo pasado, en una central de monitoreo
Resulta que (segun me comentaron) una persona que se encargaba de la parte de DBA borro accidentalmente todos los datos de los clientes, seguro hizo un “delete” sin “where”, esto sin bien no tiene que ver con algo automatizado y a lo que se le haga seguimiento, tambien es algo a considerar para el rol de Data Engineer

Mi resumen de la clase:

Al dejar cosas corriendo debemos de tener muy en cuenta el monitoreo, debemos saber cómo están funcionando las cosas que querremos y de qué manera estamos trabajando con ello.
Cuando no medimos nos volvemos loco con saber que fallo, medir es tan importante como generar un modelo de aprendizaje automático.
Debemos de saber cuáles son los puntos de riesgo de nuestros datos.
Debemos de tener visibilidad a través de dos niveles:
Dashboards y alertas y notificaciones de cuando las cosas fallan.

Como catastrofe que pueda pasar se me ocurre que se limpien datos de mas (perdida de informacion valiosa), uso exesivos e inecesarios de recursos en la nuve, o acceso de usuarios no autorizados

Consejo general, capturen toda la data y después comienzan a decidir cuál les será útil, al menos cuando vayan iniciando una aplicación, integración, etc.

No medir es DOLOROSO.

Perder data valiosa, es un error garrafal. Es como olvidar la historia y destruir la materia prima para la continuidad de un negocio. Todavia en la actualidad ocurren esas cosas.
Muchas veces son errores de novato y en ese momento aprendemos jeje

En internet no hay ejemplos claros, pero algunos pueden ser:

• Perdida parcial o total de la data
• Entrega de información errada para toma de decisiones sensibles
• Costos excesivos por recursos innecesarios en cloud.

Como una experiencia propia, en la empresa tenemos la plataforma de Splunk, esta plataforma, según como se configure, cobra por la capacidad de data que se ingresa. Teóricamente se tiene un limite de capacidad, pero si se da la necesidad, puedes sobrepasarlo y la plataforma te cobra extra el excedente. Nadie solía monitorear cuanto se estaba consumiendo de esa capacidad. En una ocasión hicieron que una nueva plataforma de seguridad cargara los logs sobre Splunk y la persona que hizo la configuración no verificó que información estaba enviando. Resultó que la plataforma estaba enviando TODOS los logs cuando no eran necesarios. Se triplicó el límite de consumo. Afortunadamente, Splunk nos envío una notificación ofreciéndonos una capacidad limite superior debido al alto consumo, por lo que pudimos solucionarlo antes de que los costos subieran como los cohetes de SpaceX. Obviamente hubo un sobrecosto ese mes, pero no fue tan alto como hubiese podido ser.

En un lugar en el que trabaje hace algunos años, se tenía una etl que consolidaba información de distintos aplicativos Core de la empresa, pero resulta que hacía varios meses que no estaba cargando lo datos de uno de esos aplicativos, reconstruir y reprocesar esa información no cargada llevo varios meses sobre todo por el tema de reconstrucción.

Gracias

✅

Un puede revisar el estado del los discos de la computadora con diferentes programas, no hace falta estar las 24 horas chequeando los discos, pero si una vez por semana se puede usar algún programa que te indique en que estado se encuentre para saber si es necesario hacer un back up

19. Medición de indicadores y seguimiento a proyectos

• Lo que no se mide no se puede mejorar.
• Encontrar puntos de riesgo.
  • Contexto Api
    • A la entrada del servicio
    • Entrada del modelo
    • Durante el proceso
    • Lo que se mostró al cliente
• Visibilidad: dashboards, alertas y notificaciones

Respuesta de chat GPT. Me cuentan que opinan
La falta de monitoreo adecuado en bases de datos puede conducir a una serie de desastres y problemas potenciales. Aquí hay algunos ejemplos:

Pérdida de datos: Sin un monitoreo adecuado, los errores en la base de datos, como fallas en el hardware, errores de software o corrupción de datos, pueden pasar desapercibidos. Esto puede llevar a la pérdida irreversible de datos importantes y críticos para una organización.

Rendimiento deficiente: Sin monitoreo, puede ser difícil detectar problemas de rendimiento en la base de datos. Esto puede resultar en consultas lentas, tiempos de respuesta prolongados y una disminución general en el rendimiento del sistema. Los usuarios pueden experimentar demoras en el acceso a la información y la productividad de la organización puede verse afectada.

Violaciones de seguridad: La falta de monitoreo en las bases de datos puede hacer que las vulnerabilidades y las actividades maliciosas pasen desapercibidas. Esto puede llevar a brechas de seguridad, acceso no autorizado a datos confidenciales o incluso robos de datos sensibles. La falta de monitoreo adecuado puede dificultar la detección temprana de estos incidentes y la implementación de medidas de seguridad necesarias.

Inconsistencias en los datos: Si no se monitorea de manera regular la integridad de los datos, pueden ocurrir inconsistencias y errores en la base de datos. Estos problemas pueden propagarse a través de la organización y afectar la toma de decisiones basada en datos incorrectos o incompletos.

Tiempo de inactividad no planificado: Los problemas no detectados en la base de datos pueden llevar a tiempos de inactividad no planificados. Esto puede ocurrir debido a errores catastróficos, falta de capacidad, conflictos de bloqueo o cualquier otra situación que pueda detener el acceso a los datos. El tiempo de inactividad puede ser costoso para las organizaciones y afectar su reputación y productividad.

Es esencial implementar prácticas de monitoreo efectivas en las bases de datos para prevenir y mitigar estos desastres. El monitoreo regular, la implementación de alertas, la realización de copias de seguridad regulares y la planificación de la capacidad son algunas de las medidas importantes para garantizar la integridad, seguridad y rendimiento de las bases de datos.

Buena explicacion.