Calidad y Monitoreo de Datos en Google Cloud

Contenido del curso

Compute on Google Cloud Platform

Continuous Integration, Continuous Delivery

Google Kubernetes Engine

Streaming Data Analytics

Machine Learning

Sesiones en vivo

48
Mentoría en Google Cloud con Pablo Pérez Villanueva
51:16 min

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:007:52

Calidad y Monitoreo de Datos en Google Cloud

Entrenamiento de Google Cloud Platform

Clase 40 de 48

Clase 40 / 48

Recursos

Gestionar la calidad de los datos y mantener un monitoreo efectivo son pilares fundamentales en cualquier estrategia de gobierno de datos en la nube. Google Cloud ofrece un ecosistema de herramientas que cubren desde la preparación inteligente de datos hasta la detección de amenazas en tiempo real, permitiendo a las organizaciones proteger, gobernar y optimizar sus activos de información de forma integral.

¿Cómo garantizar la calidad de datos con Cloud Dataprep?

Dentro de Google Cloud existe una herramienta llamada Cloud Dataprep [0:15], desarrollada en conjunto con el partner Trifacta. Se trata de una solución totalmente administrada que permite descubrir los data assets que posees dentro de Google y realizar automáticamente un data profiling, evaluando los datos en las seis dimensiones de calidad.

Lo más interesante es que Cloud Dataprep incorpora machine learning [0:37] para facilitar el trabajo del usuario de negocio o analista. La herramienta genera sugerencias inteligentes a través de una receta de transformación:

Si necesitas parsear un correo electrónico, sugiere extraer el dominio en una columna separada.
Si una columna requiere estandarización, propone convertirla al tipo de dato adecuado.
Ofrece opciones como hacer un split por comas, dos puntos u otros separadores.

¿Cómo organizar personas, políticas y procesos en Google Cloud?

Desde la definición de tu organización en Google Cloud [1:10], puedes segmentar las funciones de acuerdo a tus áreas de negocio mediante proyectos. La estructura jerárquica funciona así: una sola organización contiene distintas carpetas por área de negocio, y dentro de cada carpeta existen proyectos con sus respectivos recursos.

Los privilegios se definen a nivel proyecto y a nivel recurso. Google cuenta con roles preconfigurados, pero si necesitas mayor granularidad en seguridad, puedes construir tus propios roles a través de Cloud IAM [1:45], que determina a qué tiene acceso cada usuario y hasta dónde puede llegar.

¿Qué herramientas de monitoreo ofrece Google Cloud?

Para el monitoreo, Google Cloud dispone de Stack Driver [2:05], una herramienta unificada que permite analizar en tiempo real todos los logs de tus servicios dentro de un solo panel. Entre sus capacidades destacan:

Crear métricas customizadas que disparan alertas ante eventos específicos.
Configurar notificaciones por correo cuando, por ejemplo, el CPU de una máquina virtual alcanza el 85% o 90%.
Seguir las normas de Site Reliability Engineering (SRE) [2:35] para gestionar incidentes de inicio a fin.

¿Cómo funciona la detección inteligente de amenazas y políticas?

Health Analytics [2:52] aporta inteligencia al detectar posibles mejoras en la administración de servicios. Por ejemplo, si otorgaste privilegios de más o de menos a cierta persona, la herramienta sugiere ajustarlos de manera automática.

La detección de amenazas ante eventos [3:15] permite actuar sin necesidad de monitoreo manual constante. Si un usuario externo intenta acceder múltiples veces mediante SSH a una máquina virtual para realizar un ataque malicioso, el sistema lo identifica y centraliza estas detecciones en un solo panel.

En cuanto a la inteligencia en políticas, Data Catalog [3:43] permite detectar datos sensibles, crear políticas sobre columnas específicas y llevarlas a BigQuery. Al combinar esto con Cloud IAM, cuando una persona no tiene acceso a un dato sensible, simplemente no puede ver esa columna, compaginando lo técnico con las necesidades de privacidad del negocio.

¿Qué garantías ofrece Google Cloud para proteger tus datos?

Google Cloud resume su propuesta de gobierno de datos en cuatro ejes principales [4:15]:

Protección de datos incorporada a escala: además de las mejores prácticas de industria, puedes llevar tus propias llaves para encriptar datos en tránsito y en reposo.
Herramientas para gobernar: como DLP e IAM para controlar acceso y proteger información sensible.
Cumplimiento de estándares industriales: certificaciones como SOC 1, SOC 2, SOC 3, e incluso estándares a nivel país como IPA en Estados Unidos [4:50].
Confianza y transparencia: Google nunca utiliza tus datos para fines propios, nunca los vende a third parties ni los usa con fines publicitarios [5:10]. Cada dato subido a la nube está encriptado en todo momento.

Esta responsabilidad compartida se respalda con prácticas de monitoreo, transparencia y seguimiento ante incidentes. Al dominar estas herramientas, estarás preparado para construir una estrategia sólida que cubra desde la ingesta con Cloud Data Fusion, arquitecturas orientadas a eventos con CDC usando Apache Debezium, hasta el Data Lakehouse [5:40] para modernizar tu Data Warehouse. ¿Qué herramienta de monitoreo implementarías primero en tu organización?

Compute on Google Cloud Platform

Guía de Instalación de Google Cloud para Desarrolladores

Crear Cuentas en Google Cloud y Qwiklabs paso a paso

Uso de Quick Labs para Entrenamiento en Google Cloud

Google Cloud: Beneficios y Seguridad en la Nube Pública

Opciones de Cómputo en la Nube con Google Cloud

Máquinas Virtuales en Google Cloud: Uso, Optimización y Descuentos

Instalación de Qwiklabs paso a paso

Creación y Gestión de Máquinas Virtuales en Google Cloud

App Engine: Despliegue de Aplicaciones sin Infraestructura

Despliegue de Aplicaciones en App Engine con Java 11 y SpringBoot

Introducción a Docker y Contenerización de Aplicaciones

App Engine Estándar vs Flexible: Ventajas y Usos Prácticos

Implementación de Cloud Run: Serverless y Contenedores en Google Cloud

Cloud Functions: Creación y Conexión de Servicios Serverless

Continuous Integration, Continuous Delivery

Continuous Integration y Delivery en Google Cloud Platform

Estrategias de Despliegue de Aplicaciones en Producción

Repositorios en Google Cloud: Cloud Source y Container Registry

Construcción y Despliegue en Google Cloud Platform

Infraestructura como Código: Conceptos y Herramientas Clave

Despliegue de Aplicaciones Serverless en Google Cloud Platform

Google Kubernetes Engine

Fundamentos de Kubernetes y Google Kubernetes Engine

Creación y Despliegue de Clúster Kubernetes en Google Cloud

Planificación de Ambientes de Despliegue en Kubernetes

Implementación y Gestión de Anthos para Aplicaciones en la Nube

Cloud Run: Despliegue de Contenedores Serverless en Google Cloud

Despliegue de Servicios en Cloud Run con GKE

Anthos Service Mesh: Observabilidad y Seguridad en Kubernetes

Tour Completo de Anthos: Despliegue y Gestión en Google Cloud

Streaming Data Analytics

Integración de Datos en Tiempo Real con Google Cloud Data Fusion

Construcción de Flujos de Datos con Google Cloud Data Fusion

Ingesta de Datos Confiable en Google Cloud Platform

Ingesta de Eventos en Google Cloud con Apache Kafka y Dataflow

Configuración de Apache Kafka y Debezium en Linux para SQL Server y PubSub

Visualización de Mensajes en Google Cloud con Dataflow y BigQuery

Construcción de un Data Lakehouse con Google BigQuery

Ventajas de BigQuery como Data Lakehouse

Opciones de Almacenamiento en Google Cloud Platform

Gestión de Datos en Google Cloud: Portafolio y Migración

Gobierno de Datos en Google Cloud: Mejores Prácticas y Herramientas

Calidad y Monitoreo de Datos en Google Cloud

Machine Learning

Conceptos Básicos de Inteligencia Artificial y Aprendizaje Automático

Soluciones de IA y Machine Learning en Google Cloud para Desarrolladores

AutoML Tables: Modelado Predictivo con Datos Estructurados

Uso de AutoML Tables en Google Cloud para Modelos de Clasificación

Predicción de Tarifas con Jupyter Notebooks en Google Cloud

Análisis de Datos de Taxis en iNotebook con Google Cloud y BigQuery

Implementación de Pipelines con TensorFlow Extended

Sesiones en vivo

Mentoría en Google Cloud con Pablo Pérez Villanueva

Calidad y Monitoreo de Datos en Google Cloud