Casos de uso en tiempo real con Cloud Pub/Sub y Dataflow

Consulta:

SELECT
    TUMBLE_START('INTEVARL 1 MINUTE') as period_start,
    SUM(passenger_count) AS pickup_count
FROM pubsub.topic.`pubsub-public-data`.`taxirides-realtime`
WHERE
    ride_status = "pickup"
GROUP BY
    TUMBLE(event_timestamp, 'INTERVAL 1 MINUTE')

Hola, muchas gracias por la explicación.

Quisiera comentarte que en la versión actual no veo la opción de “Crear desde SQL”

Podrías indicar cómo encontrar está opción:

Puede hacer un ejemplo mas , sin usar en sql.

La combinación de Google Cloud Pub/Sub y Cloud Dataflow es poderosa para casos de uso en tiempo real, ya que permite la ingestión, procesamiento y análisis de datos de manera eficiente y escalable. Aquí tienes algunos casos de uso comunes en tiempo real que pueden aprovechar esta integración: ### 1. Análisis de Streaming de Eventos: * **Streaming de Logs y Métricas:** Ingestión y análisis en tiempo real de logs de aplicaciones, sistemas y servidores para monitoreo y detección de problemas. * **Eventos de IoT:** Procesamiento en tiempo real de eventos generados por dispositivos IoT, como sensores, para monitoreo y control de sistemas. * **Eventos de Clickstream:** Análisis en tiempo real del comportamiento de los usuarios en aplicaciones web y móviles para personalización y optimización de la experiencia del usuario. ### 2. Procesamiento de Datos Continuo: * **Procesamiento ETL en Tiempo Real:** Transformación y enriquecimiento de datos en tiempo real antes de ser almacenados o analizados, por ejemplo, para enriquecer datos con información externa o aplicar reglas de negocio. * **Detección de Anomalías y Patrones:** Análisis en tiempo real para detectar anomalías, patrones emergentes y eventos inusuales que requieran acciones inmediatas. ### 3. Integración de Sistemas en Tiempo Real: * **Integración de Aplicaciones:** Integración y sincronización en tiempo real de datos entre diferentes aplicaciones y sistemas empresariales para mantener la coherencia de los datos en tiempo real. * **Event-Driven Architecture:** Implementación de arquitecturas orientadas a eventos donde los cambios y eventos desencadenan acciones y procesos en tiempo real. ### 4. Procesamiento de Transmisiones de Datos: * **Streaming de Datos de Sensores:** Procesamiento y análisis en tiempo real de datos de sensores para monitorizar el rendimiento de equipos, prevenir fallos y optimizar procesos. * **Streaming de Datos Financieros:** Análisis en tiempo real de transacciones financieras para detección de fraudes, seguimiento de patrones de gastos y análisis de riesgos. ### 5. Eventos y Alertas en Tiempo Real: * **Generación de Alertas:** Creación de alertas y notificaciones en tiempo real basadas en eventos y condiciones específicas, por ejemplo, alertas de seguridad, rendimiento o eventos críticos del sistema. * **Acciones Reactivas:** Ejecución de acciones y respuestas automáticas en tiempo real ante eventos específicos, como la escalada de incidentes, reconfiguración de recursos o envío de mensajes. ### Ejemplo de Caso de Uso: Supongamos que tienes una aplicación de comercio electrónico y deseas realizar análisis en tiempo real del comportamiento de los usuarios. Utilizando Google Cloud Pub/Sub para la ingestión de eventos (por ejemplo, eventos de clics, compras, navegación) y Cloud Dataflow para procesar y enriquecer estos eventos (por ejemplo, agregar información de perfil de usuario, calcular métricas en tiempo real como tasa de conversión, generar recomendaciones en tiempo real), puedes obtener insights valiosos para personalizar la experiencia del usuario, optimizar campañas de marketing y mejorar la conversión de ventas en tiempo real.

Pueden seguir este tutorial de gcloud <https://cloud.google.com/dataflow/docs/tutorials/dataflow-stream-to-bigquery?hl=es-419#pubsub_create_pull_subscription-Console>

curso bastande desactualizado

No puedo salir del siguiente error en parametros obligatorios, ubicacion temportal,

Algo desactualizado

ya no existe el "CREATE JOB FROM SQL"

Cada clase me encanta más- Este mundo CLoud me encanta.