Cloud Pub/Sub

Google Cloud Pub/Sub
Mensajería impulsada por eventos para la ingesta de datos y el movimiento de los mismos.

• Ingestion y entrega de eventos escalables/ persistentes.
• Patrón de publicación.
• Servicio global.
• Integrado con otras herramientas.

### **Conceptos Básicos:** 1. **Temas (Topics):** * Un tema es un canal de comunicación donde los mensajes son publicados por un productor. * Los temas en Pub/Sub son duraderos y pueden retener mensajes durante un período configurable (retención de mensajes). 2. **Suscripciones (Subscriptions):** * Una suscripción es un punto de conexión que recibe y consume mensajes de un tema específico. * Las suscripciones pueden ser de tipo pull (extracción manual) o push (entrega automática a una URL HTTP/HTTPS). 3. **Mensajes (Messages):** * Los mensajes son los datos que se envían y reciben a través de Pub/Sub. * Cada mensaje tiene un identificador único, un cuerpo de datos y atributos opcionales (metadatos). ### **Funcionamiento:** 1. **Publicación (Publishing):** * Los productores (publisher) envían mensajes a un tema específico en Pub/Sub. * Los mensajes pueden ser publicados de forma individual o en lotes (batch). 2. **Suscripción (Subscription):** * Los consumidores (subscriber) se conectan a un tema a través de suscripciones para recibir mensajes. * Las suscripciones pueden ser duraderas (persistentes) o temporales (efímeras), según su configuración. 3. **Flujo de Mensajes:** * Cuando un mensaje es publicado en un tema, Pub/Sub lo distribuye a todas las suscripciones asociadas al tema. * Las suscripciones consumen mensajes de acuerdo con su método de recepción (pull o push). 4. **Escalabilidad y Disponibilidad:** * Pub/Sub es altamente escalable y distribuido, lo que permite manejar grandes volúmenes de mensajes y mantener alta disponibilidad. * Utiliza la infraestructura global de Google para garantizar baja latencia y alta durabilidad de mensajes. ### **Uso en Aplicaciones:** 1. **Integración de Sistemas:** * Pub/Sub se utiliza para integrar sistemas y servicios distribuidos en arquitecturas de microservicios, IoT, análisis de datos en tiempo real, etc. * Permite la comunicación asíncrona y la decoupling entre componentes de aplicaciones. 2. **Procesamiento de Eventos:** * Se utiliza para procesar eventos en tiempo real, como eventos de clickstream, logs, actualizaciones de bases de datos, etc. * Puede integrarse con servicios de procesamiento de datos como Dataflow, Spark, y funciones sin servidor (Cloud Functions). 3. **Colas de Mensajes:** * Pub/Sub se utiliza como una cola de mensajes para tareas en segundo plano, procesamiento de trabajos en lotes y gestión de carga. 4. **Análisis y Procesamiento de Datos:** * Permite la ingesta y procesamiento de datos en tiempo real para análisis, reporting y generación de insights. * Se integra con servicios de almacenamiento y análisis como BigQuery, Dataflow y Dataproc. ### **Seguridad y Gestión:** 1. **Seguridad:** * Pub/Sub proporciona controles de acceso basados en roles (IAM) para garantizar la seguridad y el cumplimiento normativo de los datos. * Los mensajes pueden ser cifrados en tránsito y en reposo para proteger la confidencialidad de los datos. 2. **Monitoreo y Logging:** * Se pueden habilitar registros de auditoría y monitoreo para rastrear el flujo de mensajes, el rendimiento y la actividad de Pub/Sub. * Se integra con Stackdriver Logging y Stackdriver Monitoring para análisis y visualización de datos de operaciones. Google Cloud Pub/Sub es un servicio de mensajería robusto y escalable que facilita la comunicación asíncrona entre componentes de aplicaciones distribuidas, la integración de sistemas, el procesamiento de eventos en tiempo real y el análisis de datos. Su arquitectura distribuida y sus características de seguridad lo convierten en una opción poderosa para implementar arquitecturas modernas y escalables en la nube.

Para lo que trabajan con Open source pub sub sería el simil de Kafka en Google Cloud

Google Cloud Pub/Sub es un servicio de mensajería robusto y escalable que facilita la comunicación asíncrona entre componentes de aplicaciones distribuidas, la integración de sistemas, el procesamiento de eventos en tiempo real y el análisis de datos. Su arquitectura distribuida y sus características de seguridad lo convierten en una opción poderosa para implementar arquitecturas modernas y escalables en la nube.