Cómo funciona Kibana con Elasticsearch

Clase 43 de 52Curso de Big Data en AWS

Resumen

Kibana permite convertir datos en insights en tiempo real con integración nativa a Elasticsearch. Con dashboards flexibles, soporte para múltiples gráficos y opciones de ingestión desde servicios de AWS, facilita monitoreo, análisis y toma de decisiones inmediata.

¿Qué es Kibana y cómo se integra con Elasticsearch?

Kibana se conecta de forma nativa con Elasticsearch: todo lo que llega al clúster se puede ver en Kibana sin pasos intermedios. Ofrece gran libertad de visualización: barras, mapas de calor, tendencias, gráficas de torta y tablas de datos, además de gráficos personalizados mediante consultas del clúster.

  • Integración nativa con Elasticsearch.
  • Amplia variedad de visualizaciones.
  • Gráficos personalizados con consultas del clúster.

Sobre la integración con plugins de terceros: se pueden usar si despliegas en una instancia S2 o en un servidor. En servidor se gana flexibilidad, pero se pierde soporte de administración de Amazon. En S2 hay más apertura a plugins, aunque dentro del servicio gestionado estarán limitados por el soporte de AWS.

¿Cómo acceder y configurar Kibana en AWS?

Para usar Kibana desde AWS se ingresa por el servicio de Elasticsearch en la consola, ubicando el dominio, y haciendo clic en el endpoint de Kibana. Si está integrado con Amazon Cognito, se autentica con el correo y se carga la interfaz para explorar visualizaciones.

¿Cómo entrar desde el dominio y el endpoint de Kibana?

  • Abrir la consola de AWS.
  • Buscar el servicio de Elasticsearch.
  • Seleccionar el dominio y localizar los endpoints.
  • Hacer clic en el endpoint de Kibana.
  • Autenticarse con Amazon Cognito mediante correo.

¿Qué opciones ofrece el menú: Discover, Management e índices?

El menú incluye secciones clave para trabajar con datos en tiempo real:

  • Discover: ver la data que llega a los índices en tiempo real.
  • Management > Index Patterns: agregar y verificar índices y crear patrones para que Kibana reconozca la nueva data.
  • Visualizaciones y Dashboards: crear visualizaciones y consolidarlas en un dashboard para una funcionalidad de negocio específica.

Nota: sin índices cargados, las opciones de dashboards y visualizaciones quedan limitadas hasta que llegue data.

¿Cómo alimentar índices con Kinesis Firehose o Lambda?

  • Usar Kinesis Firehose para enviar datos a Elasticsearch.
  • Usar una Lambda que ingeste objetos al endpoint de Elasticsearch.
  • También se puede partir de CloudWatch o Kinesis Data Streams y procesar con Lambda antes de indexar.

¿Qué visualizaciones y casos de uso habilita en tiempo real?

Kibana permite ver logs en tiempo real de usuarios y sistemas. Por ejemplo, en una app móvil que envía logs a CloudWatch o a Kinesis Data Streams, una Lambda reprocesa y envía a Kinesis Firehose o directo al clúster de Elasticsearch; en Kibana se observan eventos al instante.

  • Seguimiento de retiros en una app de transferencias: gráficos de barras que crecen a medida que aumentan los retiros en ATM.
  • Soporte a stakeholders: el negocio toma decisiones con datos en vivo y los desarrolladores detectan errores en tiempo real.
  • Campañas de referidos: ajustar duración o premios según el comportamiento observado en el dashboard.
  • Combinación de vistas: mapas de calor, tendencias, tortas y tablas de datos para entender patrones y detalle.

En síntesis, Kibana complementa a Elasticsearch: el clúster recibe la información y Kibana la visualiza de forma clara para monitoreo operativo y decisiones de negocio.

¿Tienes dudas o un caso de uso que quieras visualizar? Compártelo en los comentarios y construyamos juntos el mejor dashboard para tus datos.