Compute on Google Cloud Platform

1

Introducción al curso de Google Cloud for Developer Community

2

Lectura: introducción de instalación

3

Tutorial de Qwiklabs

4

Cómputo en la nube de Google

5

Opciones de cómputo en la nube

6

Máquinas virtuales a profundidad

7

Tutorial para instalar Qwiklabs

8

Demo: máquinas virtuales a profundidad

9

Cómputo sin administración con plataformas como servicio

10

Demo: cómputo sin administración

11

Lectura: ¿qué son los contenedores?

12

Cómputo contenerizado con App Engine Flex

13

Cómputo contenerizado con Cloud Run

14

Funciones serverless

Continuous Integration, Continuous Delivery

15

CI/CD en Google Cloud Platform

16

Estrategias de Despliegue

17

Repositorios de código

18

Construcción y despliegue de artefactos

19

Infraestructura como código

20

Despliegue en Servicios Serverless

Google Kubernetes Engine

21

Kubernetes Overview

22

Demo Kubernetes

23

Planeación de tu despliegue

24

Anthos

25

Cloud Run for Anthos

26

Demo Cloud Run for Anthos

27

Anthos Service Mesh

28

Site Reliability Engineering con Anthos

Streaming Data Analytics

29

Integración de datos e ingesta de datos totalmente administrada sobre GCP

30

Demo: ingesta de datos

31

Ingesta de datos confiable en streaming sobre GCP

32

Demo: ingesta de datos confiable

33

Demo: configuración de Apache Kafka

34

Visualización de mensajes de una base de datos relacional en Google Cloud

35

Data Warehouse: el modelo tradicional para construir un repositorio de datos empresarial

36

Data Lakehouse: el nuevo y moderno enfoque para construir un repositorio de datos empresarial

37

El portafolio de gestión de datos en Google Cloud

38

Desglose del portafolio de gestión de datos (Bases de datos) en Google Cloud

39

Gobierno de datos de punta a punta para garantizar la seguridad en tu Data Lake

40

Gobierno de datos: calidad y monitoreo

Machine Learning

41

¿Qué es ML y AI?

42

Plataforma de AI en GCP

43

Auto ML con datos estructurados

44

Demo Auto ML con datos estructurados

45

Predicción de tarifas usando AI notebooks

46

Demo predicción de tarifas usando AI notebooks

47

TensorFlow Extended

Sesiones en vivo

48

Sesión en vivo con Pablo Pérez Villanueva

No tienes acceso a esta clase

¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera

Aprovecha el precio especial y haz tu profesión a prueba de IA

Antes: $249

Currency
$209
Suscríbete

Termina en:

0 Días
5 Hrs
11 Min
58 Seg

Demo: ingesta de datos confiable

32/48
Recursos

¿Cómo realizar una ingesta confiable en Google Cloud?

Realizar una ingesta confiable de datos en Google Cloud es una habilidad crucial en el mundo actual, donde la rapidez y precisión en el desplazamiento de información son vitales. En esta guía, te llevaré paso a paso a través de un proceso para replicar en tiempo casi real los eventos de una base de datos SQL Server hacia Google Cloud. Utilizando herramientas como Apache Devezium y Apache Kafka para la captura de eventos, vamos a aprovechar un enfoque serverless para integrar y procesar datos. La promesa aquí es mejorar significativamente la eficiencia y seguridad de tus flujos de datos.

¿Qué herramientas clave forman parte de este proceso?

  • SQL Server con CDC (Change Data Capture): Esta es tu fuente de datos inicial, de la cual se capturarán los eventos.
  • Apache Devezium: Un framework open-source que detecta cambios en la base de datos y genera eventos.
  • Apache Kafka: Un intermediario que transporta los eventos generados por Devezium hacia la nube.
  • Google Cloud Pub/Sub: Servicio de mensajería que facilita la comunicación entre sistemas.
  • Dataflow: Procesa y transforma los datos antes de almacenarlos.
  • BigQuery: Almacena los datos procesados para análisis y visualización.

¿Cómo configurar Google Pub/Sub?

  1. Crear un tópico en Pub/Sub:

    • Accede a la consola de Google Cloud y selecciona Pub/Sub.
    • Crea un nuevo tópico, por ejemplo, "from Kafka".
    • Configura las opciones de inscripción, puedes usar claves de Google o personalizadas.
  2. Cargar el tópico en Dataflow:

    • Dirígete a Dataflow desde la consola principal de Google Cloud.
    • Crea un nuevo trabajo desde una plantilla predefinida para simplificar el proceso.
    • Elige la plantilla "Cloud Pub/Sub to BigQuery" y proporciona:
      • Nombre del tópico.
      • Tabla de destino en BigQuery.
      • Ubicación temporal en Google Cloud Storage.

¿Cómo configurar Dataflow para procesar mensajes?

Dataflow permite la creación de pipelines que procesan datos en streaming o en batch. La plantilla "Cloud Pub/Sub to BigQuery" tiene parámetros específicos que debes completar:

# Ejemplo de configuración en Dataflow
job_name = "from Kafka"
region = "US Central 1"
template = "CloudPubSubToBigQuery"
topic_name = "projects/your-project-id/topics/from-Kafka"
bq_table = "project-id:dataset_id.table_id"
temp_location = "gs://your-bucket/temp-location/"
  1. Proveer datos necesarios:

    • Tópico: Enlace al tópico de Pub/Sub.
    • Tabla de BigQuery: Usa el formato proyecto:data_set.tabla.
    • Ubicación temporal: Directorio en Google Cloud Storage para almacenamiento provisional.
  2. Ejecutar el trabajo:

    • Al ejecutar, Dataflow crea un grafo acíclico dirigido (DAG), que representa visualmente las operaciones del pipeline.

¿Qué sigue después de configurar los servicios de Google Cloud?

Para completar el proceso, necesitamos conectar todos estos elementos con Apache Devezium, que capturará y enviará eventos en formato JSON desde SQL Server hacia nuestra infraestructura en Google Cloud. Esta última fase crucial asegura que los eventos se transmitan de manera fiable y eficiente desde la base de datos hasta BigQuery, listos para ser analizados.

Invitamos a los estudiantes y profesionales interesados en mejorar sus habilidades en procesamiento de datos a profundizar en cada herramienta y seguir aprendiendo sobre su integración en infraestructuras Cloud. Con estas habilidades, estarán equipados para liderar en un mundo cada vez más impulsado por datos.

Aportes 4

Preguntas 0

Ordenar por:

¿Quieres ver más aportes, preguntas y respuestas de la comunidad?

Les comparto el laboratorio de la demo https://www.qwiklabs.com/focuses/605?parent=catalog.

Excelente clase, se ve muy facil, mu limpio muy rápido, la practica también es interesante, para agregarle un poco más de profesionalismo, esta cool hacerlo en terraform.

Estos temas valen oro! 😃 Excelente explicación, lastima que es para profesionales muy selectos

Me quedo bastante abierto este tema