Particiones de datos para optimizar la gestión de logs en New Relic

Administrar grandes volúmenes de datos puede ser un desafío significativo. Particularmente cuando se trata de registros, encontrar información crítica en petabytes de información es complicado. New Relic, por ejemplo, genera diariamente alrededor de 32 petabytes de datos de logs. Las particiones de datos ayudan a manejar esta información de manera efectiva, optimizando el rendimiento y reduciendo costos.

¿Por qué utilizar particiones para gestionar logs?

A medida que la cantidad de logs aumenta, buscar información específica lleva más tiempo y ralentiza la capacidad para resolver incidentes rápidamente. Al implementar particiones de datos, puedes:

• Reducir la cantidad inicial de información en una búsqueda, filtrando desde un subconjunto específico.
• Facilitar la gestión al separar los logs según equipos o servicios específicos.
• Simplificar la auditoría reglamentaria e implementar períodos personalizados de retención de logs según necesidades específicas.

En esencia, las particiones transforman grandes volúmenes de información en conjuntos más manejables y prácticos, ayudando a entender mejor los datos y su impacto real.

¿Cómo se crean particiones de datos en New Relic?

Crear particiones de datos en New Relic requiere algunos pasos iniciales:

1. Proporciona tu clave de licencia y el ID de la cuenta.
2. Genera una clave de usuario API (que empieza con NRAK).
3. Ejecuta el script para generar logs categorizados bajo distintas variables (como entorno o servicio).

El ejemplo de ejecución del script en VS Code es:

node ./logging/data-partitions-demo.js

Una vez generados los logs, podrás crear tu partición desde la interfaz de usuario de New Relic:

• Ajustando parámetros como nombre, descripción y duración de retención.
• Estableciendo reglas mediante consultas NRQL (New Relic Query Language).

Por ejemplo, puedes crear una partición para logs en producción usando:

environment = 'production'

¿Cuáles son algunos ejemplos prácticos de particiones?

Varias particiones útiles sugeridas incluyen:

• Entornos específicos: agrupando logs de producción, desarrollo o pruebas.
• Servicios críticos: especialmente para sistemas esenciales, facilitando una respuesta rápida ante incidentes.
• Equipos específicos: alineando logs con la estructura organizacional para facilitar la gestión interna y responsabilidad del equipo.

Por ejemplo, para servicios críticos en una plataforma de comercio electrónico, podrías utilizar:

service = 'API Gateway' OR service = 'Payment Service'

Esto permite concentrar rápidamente tu atención en datos relevantes cuando surgen incidentes.

¿Qué mejores prácticas deben aplicarse al definir particiones de datos?

Para mantener eficacia y flexibilidad en tus particiones, considera lo siguiente:

• Comienza creando particiones amplias y posteriormente refínalas según sea necesario.
• Alinea tu estrategia de particiones con la estructura organizacional, facilitando así la administración por equipos.
• Aprovecha las herramientas de gobernanza de datos en New Relic para restringir el acceso según roles específicos, protegiendo así datos sensibles y manteniendo un control adecuado.

Aplica estos métodos para hacer la gestión diaria más sencilla y efectiva, asegurando un monitoreo óptimo y respuestas rápidas ante cualquier eventualidad.

¿Tienes ideas adicionales sobre otras particiones de datos que podrían ser útiles en tu trabajo? Comparte tu opinión para expandir el aprendizaje en comunidad.