Particiones de datos para gestionar logs de gran volumen

Curso de Observabilidad Avanzada con New Relic

Contenido del curso

Monitoreo avanzado

1
Observabilidad full stack con New Relic
02:13 min

APM avanzado

Agente de Infraestructura

Registros (Logs)

Optimizar el rendimiento

23
Observabilidad con New Relic: APM, logs e infraestructura
02:11 min

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0012:24

Particiones de datos para gestionar logs de gran volumen

Curso de Observabilidad Avanzada con New Relic

Clase 20 de 23

Clase 20 / 23

Recursos

Gestionar logs eficientemente es crucial en entornos tecnológicos con grandes volúmenes de datos. Las particiones de datos en New Relic facilitan la administración, consulta y optimización del rendimiento cuando se trabaja con cantidades masivas de información, permitiendo establecer períodos de retención personalizados y mejorar la velocidad de búsquedas clave.

¿Qué son las particiones de datos y por qué las necesitas?

Las particiones de datos permiten dividir grandes conjuntos de logs en categorías más pequeñas y manejables. Algunos beneficios clave incluyen:

Mejora en el rendimiento de consultas, especialmente importante cuando manejas grandes volúmenes de información, como petabytes de log data generados diariamente.
Organización eficiente relacionada con equipos, departamentos o servicios específicos.
Posibilidad de definir períodos de retención personalizados según las necesidades específicas de cada partición.

¿Cómo crear y utilizar particiones de datos en New Relic?

Es sencillo comenzar a trabajar creando particiones de datos desde la interfaz de usuario de New Relic:

Dirígete a la sección de particiones de datos.
Define el nombre de tu partición (siempre con el prefijo log_).
Establece un período de retención que cubra tus necesidades (por defecto, New Relic aplica 30 días).
Utiliza consultas NORCAL para filtrar los logs específicos que deseas incluir en esta partición (por ejemplo, por entorno o tipo de servicio).

¿Cómo configurar una partición para entornos específicos?

Para un entorno de producción, puedes configurar una partición llamada, por ejemplo, log_production, filtrando con un simple query del entorno:

environment = producción

¿Cómo configurar particiones para servicios críticos?

De igual manera, puedes crear particiones dedicadas a servicios esenciales (por ejemplo, log_critical) incluyendo múltiples criterios en tu consulta NORCAL:

service = 'API gateway' OR service = 'servicio de pago en línea'

Luego, estos logs serán fácilmente consultables desde la interfaz de usuario o mediante consultas NORCAL avanzadas con limitación de resultados para mejorar la rapidez:

SELECT * FROM log_critical LIMIT 100

¿Cuáles son las buenas prácticas recomendadas?

Para optimizar tu estrategia, ten presente estos consejos:

Inicia con particiones generales y refínalas según necesidades posteriores.
Alinea las particiones con la estructura organizacional y los servicios que gestionan los equipos específicos.
Usa las herramientas integradas de gobernanza y controles de acceso en New Relic para limitar la visibilidad según roles dentro de la organización.

Estas prácticas permiten mantener estructuras claras y seguras, facilitando así la gestión y administración de grandes cantidades de logs y el cumplimiento normativo.

¿Qué particiones considerarías valiosas en tu organización? Compártelas en los comentarios y fortalece aún más tu estrategia de gestión de logs.

Resumen

¿Qué son las particiones de datos y por qué las necesitas?

Las particiones de datos permiten dividir grandes conjuntos de logs en categorías más pequeñas y manejables. Algunos beneficios clave incluyen:

Mejora en el rendimiento de consultas, especialmente importante cuando manejas grandes volúmenes de información, como petabytes de log data generados diariamente.
Organización eficiente relacionada con equipos, departamentos o servicios específicos.
Posibilidad de definir períodos de retención personalizados según las necesidades específicas de cada partición.

¿Cómo crear y utilizar particiones de datos en New Relic?

Es sencillo comenzar a trabajar creando particiones de datos desde la interfaz de usuario de New Relic:

Dirígete a la sección de particiones de datos.
Define el nombre de tu partición (siempre con el prefijo log_).
Establece un período de retención que cubra tus necesidades (por defecto, New Relic aplica 30 días).
Utiliza consultas NORCAL para filtrar los logs específicos que deseas incluir en esta partición (por ejemplo, por entorno o tipo de servicio).

¿Cómo configurar una partición para entornos específicos?

Para un entorno de producción, puedes configurar una partición llamada, por ejemplo, log_production, filtrando con un simple query del entorno:

environment = producción

¿Cómo configurar particiones para servicios críticos?

De igual manera, puedes crear particiones dedicadas a servicios esenciales (por ejemplo, log_critical) incluyendo múltiples criterios en tu consulta NORCAL:

service = 'API gateway' OR service = 'servicio de pago en línea'

Luego, estos logs serán fácilmente consultables desde la interfaz de usuario o mediante consultas NORCAL avanzadas con limitación de resultados para mejorar la rapidez:

SELECT * FROM log_critical LIMIT 100

¿Cuáles son las buenas prácticas recomendadas?

Para optimizar tu estrategia, ten presente estos consejos:

Inicia con particiones generales y refínalas según necesidades posteriores.
Alinea las particiones con la estructura organizacional y los servicios que gestionan los equipos específicos.
Usa las herramientas integradas de gobernanza y controles de acceso en New Relic para limitar la visibilidad según roles dentro de la organización.

Estas prácticas permiten mantener estructuras claras y seguras, facilitando así la gestión y administración de grandes cantidades de logs y el cumplimiento normativo.

¿Qué particiones considerarías valiosas en tu organización? Compártelas en los comentarios y fortalece aún más tu estrategia de gestión de logs.

Monitoreo avanzado

Observabilidad full stack con New Relic

APM avanzado

Qué es APM y sus señales doradas

Buenas prácticas de configuración en APM

Transacciones y métricas custom en New Relic

Seguimiento de cambios en New Relic con GitHub Actions

Métricas personalizadas y seguimiento de cambios en tableros de New Relic

Métricas personalizadas y dashboards en New Relic

Agente de Infraestructura

Monitoreo de infraestructura con New Relic

Agente de infraestructura New Relic en Docker

Configuración del agente de infraestructura New Relic

Métricas de infraestructura en New Relic: CPU, memoria y red

Panel de infraestructura en New Relic sin consultas

Configuración de alertas paramétricas para métricas de infraestructura

Configuración de integraciones personalizadas con New Relic Flex

Proyecto final: crea tu integración Flex para New Relic

Registros (Logs)

Gestión eficiente de registros con New Relic en sistemas distribuidos

Envío de registros a New Relic mediante API directa

Cómo filtrar logs en New Relic con Lucene

Cómo convertir logs no estructurados con Grok

Particiones de datos para gestionar logs de gran volumen

Los registros en contexto conectan datos de APM con rastreo de errores

Proyecto final: dashboard de logs

Optimizar el rendimiento

Observabilidad con New Relic: APM, logs e infraestructura

Particiones de datos para gestionar logs de gran volumen

Progreso del curso

Monitoreo avanzado

APM avanzado

Agente de Infraestructura

Registros (Logs)

Optimizar el rendimiento

Recursos

Recursos