Les comparto el siguiente laboratorio para reforzar un poco el tema.
Compute on Google Cloud Platform
Creación y administración de proyectos en Google Cloud
Fundamentos de Google Cloud: Configuración y Uso Inicial
Créditos y Uso de Proyectos en Google Cloud con Quick Labs
Google Cloud: Seguridad Avanzada y Sostenibilidad Ambiental
Opciones de Cómputo en Google Cloud: IaaS, PaaS y Serverless
Optimización de Máquinas Virtuales con Google Cloud
Instalación de Qwiklabs paso a paso
Configurar y Monitorear Máquinas Virtuales en Google Cloud
Despliegue de Aplicaciones en App Engine para Principiantes
Implementación de Spring Boot en App Engine con Java 11
Uso de Kubernetes para Gestión de Contenedores
App Engine: Comparación Estándar vs Flexible
Implementación de Contenedores con Cloud Run de Google Cloud
Cómo usar Cloud Functions de Google para automatizar tareas en la nube
Continuous Integration, Continuous Delivery
Prácticas de CI/CD en Google Cloud: Automatización de Despliegues
Estrategias de Despliegue para Aplicaciones en Producción
Creación y gestión de repositorios en Google Cloud Platform
Construcción y Despliegue con Google Cloud Platform
Gestión de infraestructura como código con Terraform y Ansible
Despliegue de Aplicaciones en Google Cloud Serverless
Google Kubernetes Engine
Google Kubernetes Engine: Objetos y Controladores Básicos
Despliegue de Kubernetes en Google Cloud paso a paso
Estrategias de Despliegue en Kubernetes y Google Cloud
Gestión de Kubernetes con Anthos: Multinube y On-Premises
Implementación de Cloud Run para Contenedores Serverless
Desplegar Aplicaciones en Cloud Run con GKE
Anthos Service Mesh: Comunicación Segura entre Microservicios
Despliegue de Microservicios con Anthos y Kubernetes
Streaming Data Analytics
Ingesta de Datos en Tiempo Real con Google Cloud Data Fusion
Creación de Flujos de Datos con Google Cloud Data Fusion
Ingesta de Datos Confiable en Google Cloud: Soluciones Prácticas
Procesamiento de Datos en Google Cloud con Apache Kafka
Configuración de Kafka Connect en Google Cloud con SQL Server y PubSub
Consultas de Registros en BigQuery con Apache Dataflow
BigQuery: Procesamiento de Datos a Gran Escala Sin Servidores
BigQuery: Machine Learning y Análisis Geoespacial Avanzado
Migración de Bases de Datos: Retos y Estrategias en Google Cloud
Uso de Google Cloud para Migración y Modernización de Bases de Datos
Gobierno de Datos en Google Cloud: Prácticas Esenciales
Calidad y Monitoreo de Datos con Google Cloud
Machine Learning
Algoritmos de Machine Learning para Principiantes
Aprende Machine Learning con Google Cloud: Herramientas y Recursos
Uso de AutoML Tables para Datos Estructurados en Google Cloud
Automatización de Modelos con AutoML Tables en Google Cloud
Predicción de Tarifas con Jupyter Notebooks en Google Cloud
Predicción de tarifas de taxi con Python en Google Cloud
Pipelines de Machine Learning con TensorFlow Extended
Sesiones en vivo
Programación y despliegue con Google Cloud Platform
No tienes acceso a esta clase
¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera
La integración de datos en tiempo real o en lotes es una necesidad constante en el entorno empresarial actual, especialmente para departamentos como finanzas que requieren una rápida manipulación y análisis de datos. Google Cloud Data Fusion emerge como una herramienta revolucionaria, simplificando este proceso gracias a su interfaz gráfica que elimina la necesidad de codificación extensiva.
Google Cloud Data Fusion es una plataforma de integración de datos totalmente gestionada que permite mover y transformar datos rápidamente a través de pipelines visuales. Proporciona facilidades para integrar datos tanto en un entorno batch como en tiempo real, facilitando a usuarios sin conocimientos profundos en programación.
Para empezar con Data Fusion, se accede a través de la consola de Google Cloud Platform. Aquí podemos crear una instancia de Data Fusion seleccionando entre sus dos ediciones claramente diferenciadas.
Data Fusion ofrece una interfaz donde todo lo que se realiza se puede visualizar como si se tratara de una "receta de cocina". Esto permite:
Una vez procesados los datos, se procede a crear el Batch Pipeline:
Para unir datos de distintos orígenes, se utilizan el joiner junto con fuentes como BigQuery. Éste se arrastra al área de trabajo para configurar las propiedades necesarias, y sincronizar varias fuentes de datos.
Una vez realizado el join, los datos pueden ser guardados en un destino específico como Google Cloud Storage:
Data Fusion incluye características avanzadas para monitorizar y gestionar la ejecución de los pipelines:
Google Cloud Data Fusion se destaca como una herramienta integral y altamente accesible para la ingesta de datos, promoviendo la democratización de habilidades de ingeniería de datos para profesionales sin un fuerte trasfondo técnico. ¡Te animo a explorar sus características y seguir desarrollando tus capacidades en integración de datos!
Aportes 6
Preguntas 1
Les comparto el siguiente laboratorio para reforzar un poco el tema.
Excelente clase Gilberto, complementa muy bien la clase anterior
Entendido
Es interesante que todo se maneje graficamente
Estoy haciendo este laboratorio y me manda el siguiente error de permisos.
Ya hice la configuracion de aim de los usuarios
PROVISION task failed in REQUESTING_CREATE state for program run program_run:default.MyPipeline.-SNAPSHOT.workflow.DataPipelineWorkflow.de69f347-30ed-11eb-8121-766c664c7386 due to Dataproc operation failure: INVALID_ARGUMENT: User not authorized to act as service account ‘[email protected]’. To act as a service account, user must have one of [Owner, Editor, Service Account Actor] roles. See https://cloud.google.com/iam/docs/understanding-service-accounts for additional details…
¿Quieres ver más aportes, preguntas y respuestas de la comunidad?