No tienes acceso a esta clase

隆Contin煤a aprendiendo! 脷nete y comienza a potenciar tu carrera

Medici贸n de indicadores y seguimiento a proyectos

19/25
Recursos

Aportes 17

Preguntas 0

Ordenar por:

驴Quieres ver m谩s aportes, preguntas y respuestas de la comunidad?

Algunos ejemplos que puedieron ser evitados con el adecuado monitoreo:

  1. Tabla 4: Lista de incidentes causados por problemas relacionados a la data

  2. Tabla 5: Lista de incidentes causados por problemas relacionados al modelo

  3. Tabla 6: Lista de incidentes causados por problemas no t茅cnicos (茅tica, interpretabilidad, viabilidad econ贸mica)

Obtenido de: Monitoring machine learning models: a categorization of challenges and methods

En internet no encontre nada, pero si me paso en un empleo pasado, en una central de monitoreo
Resulta que (segun me comentaron) una persona que se encargaba de la parte de DBA borro accidentalmente todos los datos de los clientes, seguro hizo un 鈥渄elete鈥 sin 鈥渨here鈥, esto sin bien no tiene que ver con algo automatizado y a lo que se le haga seguimiento, tambien es algo a considerar para el rol de Data Engineer

Mi resumen de la clase:

Al dejar cosas corriendo debemos de tener muy en cuenta el monitoreo, debemos saber c贸mo est谩n funcionando las cosas que querremos y de qu茅 manera estamos trabajando con ello.
Cuando no medimos nos volvemos loco con saber que fallo, medir es tan importante como generar un modelo de aprendizaje autom谩tico.
Debemos de saber cu谩les son los puntos de riesgo de nuestros datos.
Debemos de tener visibilidad a trav茅s de dos niveles:
Dashboards y alertas y notificaciones de cuando las cosas fallan.

Consejo general, capturen toda la data y despu茅s comienzan a decidir cu谩l les ser谩 煤til, al menos cuando vayan iniciando una aplicaci贸n, integraci贸n, etc.

No medir es DOLOROSO.

Perder data valiosa, es un error garrafal. Es como olvidar la historia y destruir la materia prima para la continuidad de un negocio. Todavia en la actualidad ocurren esas cosas.
Muchas veces son errores de novato y en ese momento aprendemos jeje

Como catastrofe que pueda pasar se me ocurre que se limpien datos de mas (perdida de informacion valiosa), uso exesivos e inecesarios de recursos en la nuve, o acceso de usuarios no autorizados

Como una experiencia propia, en la empresa tenemos la plataforma de Splunk, esta plataforma, seg煤n como se configure, cobra por la capacidad de data que se ingresa. Te贸ricamente se tiene un limite de capacidad, pero si se da la necesidad, puedes sobrepasarlo y la plataforma te cobra extra el excedente. Nadie sol铆a monitorear cuanto se estaba consumiendo de esa capacidad. En una ocasi贸n hicieron que una nueva plataforma de seguridad cargara los logs sobre Splunk y la persona que hizo la configuraci贸n no verific贸 que informaci贸n estaba enviando. Result贸 que la plataforma estaba enviando TODOS los logs cuando no eran necesarios. Se triplic贸 el l铆mite de consumo. Afortunadamente, Splunk nos env铆o una notificaci贸n ofreci茅ndonos una capacidad limite superior debido al alto consumo, por lo que pudimos solucionarlo antes de que los costos subieran como los cohetes de SpaceX. Obviamente hubo un sobrecosto ese mes, pero no fue tan alto como hubiese podido ser.

En internet no hay ejemplos claros, pero algunos pueden ser:

  • Perdida parcial o total de la data
  • Entrega de informaci贸n errada para toma de decisiones sensibles
  • Costos excesivos por recursos innecesarios en cloud.

En un lugar en el que trabaje hace algunos a帽os, se ten铆a una etl que consolidaba informaci贸n de distintos aplicativos Core de la empresa, pero resulta que hac铆a varios meses que no estaba cargando lo datos de uno de esos aplicativos, reconstruir y reprocesar esa informaci贸n no cargada llevo varios meses sobre todo por el tema de reconstrucci贸n.

Realmente en internet no pude encontrar mayor informaci贸n al respecto, pero aplicando conocimientos de otras 谩reas, se puede decir que se pueden presentar modelos de trabajo errados, con poca efectividad, p茅rdida de informaci贸n, datos errados o de poca relevancia para el caso que se est茅 buscando soluci贸n
En internet lo m谩s cercano que pude hallar sobre lo que podr铆a ocurrir por la falta de monitoreo es: 路 Creer que un alto nivel de redundancia justifica la ausencia de inversiones o sistemas de calidad que garanticen el adecuado funcionamiento de la infraestructura destinada a los datos y un programa de mantenimiento. 路 No utilizar herramientas adecuadas de gesti贸n de software puede generar riesgos en las operaciones de un proyecto o tiempos de inactividad. 路 Errores en la destrucci贸n de datos obsoletos, de programaci贸n o la eliminaci贸n de informaci贸n afectar铆a a la integridad de los datos. Fuente: <https://blog-es.lac.tdsynnex.com/los-principales-errores-en-las-operaciones-de-los-data-centers>

Un puede revisar el estado del los discos de la computadora con diferentes programas, no hace falta estar las 24 horas chequeando los discos, pero si una vez por semana se puede usar alg煤n programa que te indique en que estado se encuentre para saber si es necesario hacer un back up

19. Medici贸n de indicadores y seguimiento a proyectos

  • Lo que no se mide no se puede mejorar.
  • Encontrar puntos de riesgo.
    • Contexto Api
      • A la entrada del servicio
      • Entrada del modelo
      • Durante el proceso
      • Lo que se mostr贸 al cliente
  • Visibilidad: dashboards, alertas y notificaciones

Respuesta de chat GPT. Me cuentan que opinan
La falta de monitoreo adecuado en bases de datos puede conducir a una serie de desastres y problemas potenciales. Aqu铆 hay algunos ejemplos:

P茅rdida de datos: Sin un monitoreo adecuado, los errores en la base de datos, como fallas en el hardware, errores de software o corrupci贸n de datos, pueden pasar desapercibidos. Esto puede llevar a la p茅rdida irreversible de datos importantes y cr铆ticos para una organizaci贸n.

Rendimiento deficiente: Sin monitoreo, puede ser dif铆cil detectar problemas de rendimiento en la base de datos. Esto puede resultar en consultas lentas, tiempos de respuesta prolongados y una disminuci贸n general en el rendimiento del sistema. Los usuarios pueden experimentar demoras en el acceso a la informaci贸n y la productividad de la organizaci贸n puede verse afectada.

Violaciones de seguridad: La falta de monitoreo en las bases de datos puede hacer que las vulnerabilidades y las actividades maliciosas pasen desapercibidas. Esto puede llevar a brechas de seguridad, acceso no autorizado a datos confidenciales o incluso robos de datos sensibles. La falta de monitoreo adecuado puede dificultar la detecci贸n temprana de estos incidentes y la implementaci贸n de medidas de seguridad necesarias.

Inconsistencias en los datos: Si no se monitorea de manera regular la integridad de los datos, pueden ocurrir inconsistencias y errores en la base de datos. Estos problemas pueden propagarse a trav茅s de la organizaci贸n y afectar la toma de decisiones basada en datos incorrectos o incompletos.

Tiempo de inactividad no planificado: Los problemas no detectados en la base de datos pueden llevar a tiempos de inactividad no planificados. Esto puede ocurrir debido a errores catastr贸ficos, falta de capacidad, conflictos de bloqueo o cualquier otra situaci贸n que pueda detener el acceso a los datos. El tiempo de inactividad puede ser costoso para las organizaciones y afectar su reputaci贸n y productividad.

Es esencial implementar pr谩cticas de monitoreo efectivas en las bases de datos para prevenir y mitigar estos desastres. El monitoreo regular, la implementaci贸n de alertas, la realizaci贸n de copias de seguridad regulares y la planificaci贸n de la capacidad son algunas de las medidas importantes para garantizar la integridad, seguridad y rendimiento de las bases de datos.

Buena explicacion.