Cloud Dataflow

Cloud Dataflow

.
Es un servicio de procesamiento de datos totalmente administrado, que simplifica el desarrollo y la administración de flujos y pipelines.

• Acelera el desarrollo de streaming y bach

• Gestion y operaciones simplificadas

• Construir sobre una base para machine learning
  .

Posee templates que ya tienen armado un flujo de trabajo con determinado origen y determinado destino.
.

Tipos de pipelines:

.
Tiempo real: todos los datos van siendo procesados en el momento (Pub/Sub – Dataflow)
Scheduled Batch: primero se acumulan los datos, y luego se programa el procesamiento de los mismos, generalmente en las noches (Dataflow)
Triggered Batch: cuando tengo determinadas señales en mis datos, eso dispara o activan un flujo de ingesta de datos (Cloud Functions)

# Características Principales: 1. **Modelo de Programación Unificado:** Utiliza el modelo de programación de Apache Beam, lo que te permite escribir pipelines de datos de forma consistente para el procesamiento en tiempo real y por lotes. 2. **Escalabilidad Automática:** Dataflow ajusta automáticamente la cantidad de recursos de computación según la carga de trabajo, lo que te permite procesar grandes volúmenes de datos de manera eficiente. 3. **Tolerancia a Fallos:** Garantiza la tolerancia a fallos y la integridad de los resultados incluso en entornos distribuidos, mediante la reejecución de tareas en caso de fallos. 4. **Integración con Google Cloud Platform:** Se integra de forma nativa con otros servicios de GCP, como Google Cloud Storage, BigQuery, Pub/Sub y Data Studio, facilitando la creación de pipelines end-to-end. 5. **Compatibilidad Multi-Entorno:** Además de GCP, Dataflow también es compatible con entornos locales y en otras nubes públicas, lo que te permite ejecutar tus pipelines en diferentes infraestructuras. ### Ejemplo de Uso: Supongamos que deseas analizar el comportamiento de usuarios en un sitio web en tiempo real. Podrías crear un pipeline en Dataflow que capture eventos de clics de los usuarios, aplique transformaciones para calcular métricas como el número de clics por página o el tiempo promedio en el sitio, y luego almacene estos resultados en BigQuery para su análisis posterior.

Mi pregunta si es factible tener un modelo que permita traer informacion de Trafico por ejemplo de una ciuda de USA, donde podamos determinar cuantos cars empezaron en un punto del highway y se bajaron en otro punto de esa via, cantidad de crashes o incidentes, etc, en un perido de tiempo. Tambien mi pregunta es si tenemos esa informacion en forma publica

Los servicios de GCP son nuevos para mi, siempre he desarrollado mis proyectos ETL en local con Jupyter Notebooks o en línea con COLAB y Deepnote.. he utilizado sobretodo datos abiertos de varias ciudades.. y contectarme a datos producidos en tiempo real con APIS me gusta mucho.. Este es el video 5/19 y no se si tienen la misma angustia referente al cobro de procesamiento al tener que dejar datos de tarjeta para utilizar la suite GCP. De pronto en un próximo video solucione esas dudas sobre los costos del uso de la plataforma, hasta donde es gratuito y en casos reales para compañías cómo funciona, quién toma las decisiones para procesar la data vs costos, mejores prácticas para optimizar, etc. Me gustaría ver los ejemplos de Computer Vision a desarrollar en este ecosistema. También que a las preguntas relevantes (y sin odio) se les haga un explicación en texto o video para ser insertadas en el orden del curso. Gracias Platzi y a Pablo.. hasta el momento 10/10 :D