Aprende Ingl茅s, Programaci贸n, AI, Ciberseguridad y m谩s a precio especial.

Antes: $249

Currency
$209
Suscr铆bete

Termina en:

2 D铆as
18 Hrs
16 Min
29 Seg

Cloud Dataflow

5/19
Recursos

Aportes 5

Preguntas 1

Ordenar por:

驴Quieres ver m谩s aportes, preguntas y respuestas de la comunidad?

Cloud Dataflow

.
Es un servicio de procesamiento de datos totalmente administrado, que simplifica el desarrollo y la administraci贸n de flujos y pipelines.

  • Acelera el desarrollo de streaming y bach

  • Gestion y operaciones simplificadas

  • Construir sobre una base para machine learning
    .

Posee templates que ya tienen armado un flujo de trabajo con determinado origen y determinado destino.
.

Tipos de pipelines:

.
Tiempo real: todos los datos van siendo procesados en el momento (Pub/Sub 鈥 Dataflow)
Scheduled Batch: primero se acumulan los datos, y luego se programa el procesamiento de los mismos, generalmente en las noches (Dataflow)
Triggered Batch: cuando tengo determinadas se帽ales en mis datos, eso dispara o activan un flujo de ingesta de datos (Cloud Functions)

Que es un Cloud Dtaflow
Es un servicio de procesamiento de datos totalmente administrado que simplifica el desarrollo y la administraci贸n de flujos y pipelines.
-Acelera el desarrollo de streaming y bach
-Gestion y operaciones simplificadas
-Construir sobre una base para machine learning

# Caracter铆sticas Principales: 1. **Modelo de Programaci贸n Unificado:** Utiliza el modelo de programaci贸n de Apache Beam, lo que te permite escribir pipelines de datos de forma consistente para el procesamiento en tiempo real y por lotes. 2. **Escalabilidad Autom谩tica:** Dataflow ajusta autom谩ticamente la cantidad de recursos de computaci贸n seg煤n la carga de trabajo, lo que te permite procesar grandes vol煤menes de datos de manera eficiente. 3. **Tolerancia a Fallos:** Garantiza la tolerancia a fallos y la integridad de los resultados incluso en entornos distribuidos, mediante la reejecuci贸n de tareas en caso de fallos. 4. **Integraci贸n con Google Cloud Platform:** Se integra de forma nativa con otros servicios de GCP, como Google Cloud Storage, BigQuery, Pub/Sub y Data Studio, facilitando la creaci贸n de pipelines end-to-end. 5. **Compatibilidad Multi-Entorno:** Adem谩s de GCP, Dataflow tambi茅n es compatible con entornos locales y en otras nubes p煤blicas, lo que te permite ejecutar tus pipelines en diferentes infraestructuras. ### Ejemplo de Uso: Supongamos que deseas analizar el comportamiento de usuarios en un sitio web en tiempo real. Podr铆as crear un pipeline en Dataflow que capture eventos de clics de los usuarios, aplique transformaciones para calcular m茅tricas como el n煤mero de clics por p谩gina o el tiempo promedio en el sitio, y luego almacene estos resultados en BigQuery para su an谩lisis posterior.
Mi pregunta si es factible tener un modelo que permita traer informacion de Trafico por ejemplo de una ciuda de USA, donde podamos determinar cuantos cars empezaron en un punto del highway y se bajaron en otro punto de esa via, cantidad de crashes o incidentes, etc, en un perido de tiempo. Tambien mi pregunta es si tenemos esa informacion en forma publica
Los servicios de GCP son nuevos para mi, siempre he desarrollado mis proyectos ETL en local con Jupyter Notebooks o en l铆nea con COLAB y Deepnote.. he utilizado sobretodo datos abiertos de varias ciudades.. y contectarme a datos producidos en tiempo real con APIS me gusta mucho.. Este es el video 5/19 y no se si tienen la misma angustia referente al cobro de procesamiento al tener que dejar datos de tarjeta para utilizar la suite GCP. De pronto en un pr贸ximo video solucione esas dudas sobre los costos del uso de la plataforma, hasta donde es gratuito y en casos reales para compa帽铆as c贸mo funciona, qui茅n toma las decisiones para procesar la data vs costos, mejores pr谩cticas para optimizar, etc. Me gustar铆a ver los ejemplos de Computer Vision a desarrollar en este ecosistema. Tambi茅n que a las preguntas relevantes (y sin odio) se les haga un explicaci贸n en texto o video para ser insertadas en el orden del curso. Gracias Platzi y a Pablo.. hasta el momento 10/10 :D