Configuración de Apache Kafka y Debezium en Linux para SQL Server y PubSub

Contenido del curso

Compute on Google Cloud Platform

Continuous Integration, Continuous Delivery

Google Kubernetes Engine

Streaming Data Analytics

Machine Learning

Sesiones en vivo

48
Mentoría en Google Cloud con Pablo Pérez Villanueva
51:16 min

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0012:39

Configuración de Apache Kafka y Debezium en Linux para SQL Server y PubSub

Entrenamiento de Google Cloud Platform

Clase 33 de 48

Clase 33 / 48

Recursos

¿Cómo configurar Apache de Vezium en una máquina virtual Linux?

Configurar Apache de Vezium en una máquina virtual Linux puede parecer un desafío, pero con las instrucciones adecuadas, puedes hacerlo de manera efectiva y eficiente. Aquí, te guiaré a través de los pasos esenciales para poner en marcha este potente ecosistema que facilita la captura de eventos desde SQL Server para finalmente enviarlos a Google Cloud Platform.

¿Cómo iniciar Zookeeper y Kafka?

Para empezar, necesitas conectar tu máquina local a la máquina virtual de Google Cloud mediante un comando de autenticación. Luego, cambia de usuario y procede a iniciar Zookeeper, un componente crucial dentro del ecosistema Hadoop y fundamental para el funcionamiento de Kafka.

# Comando para autenticarse y cambiar de usuario
# Comando de inicio de Zookeeper (específico del contexto)
inicia_zookeeper_comando

Una vez que Zookeeper esté funcionando correctamente, puedes proceder a iniciar el clúster de Kafka. Kafka detectará automáticamente que Zookeeper está activo y se iniciará también.

# Comando para iniciar el clúster de Kafka
inicia_kafka_comando

¿Cómo configurar Kafka Connect para SQL Server?

Kafka Connect es esencial para establecer conexiones con fuentes de datos relacionales, como SQL Server. La configuración se maneja a través de archivos de propiedades.

Configurar SQL Server: Coloca el conector en tu máquina virtual en la ruta adecuada. El archivo connect-sql-source.properties es clave y contiene información como:
- Nombre del host
- Puerto
- Usuario y contraseña
- Nombre de la base de datos y del servidor
- Tabla a monitorear
Archivo de configuración: Este archivo también permite incluir transformaciones que facilitan la comprensión de los mensajes generados.

# Ejemplo de un fragmento del archivo connect-sql-source.properties
hostname=tu_host
port=tu_puerto
username=tu_usuario
password=tu_contraseña
database.dbname=tu_base_de_datos

¿Cómo configurar el destino en PubSub?

Para enviar datos a Google Cloud, necesitas configurar PubSub. Utiliza un archivo de propiedades llamado CPS-sync-connector.properties.

Comando correcto: Debes utilizar sudo nano para abrir y editar el archivo adecuadamente.

sudo nano CPS-sync-connector.properties

Parámetros importantes:
- Nombre del tópico
- Nombre del proyecto en Google Cloud

Algunos detalles configurables son críticos para que Apache de Vezium capture correctamente los mensajes de las tablas.

¿Cómo iniciar Kafka Connect con los conectores configurados?

Con los archivos de configuración listos, ve a la ruta raíz del usuario y ejecuta Kafka Connect. Asegúrate de incluir los conectores de SQL Server y PubSub en el comando.

# Comando para ejecutar Kafka Connect
ejecuta_kafka_connect_comando

Kafka Connect detectará automáticamente que el clúster está en funcionamiento y comenzará a captar los registros de las tablas especificadas.

¿Cómo visualizar los mensajes en Kafka?

Es posible observar los mensajes capturados desde la base de datos SQL Server utilizando el comando de Kafka consumer:

Conectar y cambiar usuario: Realiza los pasos habituales para conectarte y cambiar de usuario.
Comando Kafka consumer: Configura el consumo de mensajes desde el inicio con el offset from beginning.

# Comando para visualizar los mensajes en Kafka
kafka-consumer-comando --from-beginning

Realizar pruebas de captura de mensajes

Finalmente, desde tu base de datos SQL Server, puedes insertar registros nuevos para verificar si Kafka está capturando adecuadamente la información. Observa cómo los registros aparecen en tiempo real, confirmando la correcta integración.

Con estos pasos, has configurado con éxito Apache de Vezium en una máquina virtual Linux, preparándote para enviar datos hacia los servicios de Google Cloud Platform. ¡Sigue explorando y perfeccionando tu configuración para aprovechar al máximo estas tecnologías!

Compute on Google Cloud Platform

Guía de Instalación de Google Cloud para Desarrolladores

Crear Cuentas en Google Cloud y Qwiklabs paso a paso

Uso de Quick Labs para Entrenamiento en Google Cloud

Google Cloud: Beneficios y Seguridad en la Nube Pública

Opciones de Cómputo en la Nube con Google Cloud

Máquinas Virtuales en Google Cloud: Uso, Optimización y Descuentos

Instalación de Qwiklabs paso a paso

Creación y Gestión de Máquinas Virtuales en Google Cloud

App Engine: Despliegue de Aplicaciones sin Infraestructura

Despliegue de Aplicaciones en App Engine con Java 11 y SpringBoot

Introducción a Docker y Contenerización de Aplicaciones

App Engine Estándar vs Flexible: Ventajas y Usos Prácticos

Implementación de Cloud Run: Serverless y Contenedores en Google Cloud

Cloud Functions: Creación y Conexión de Servicios Serverless

Continuous Integration, Continuous Delivery

Continuous Integration y Delivery en Google Cloud Platform

Estrategias de Despliegue de Aplicaciones en Producción

Repositorios en Google Cloud: Cloud Source y Container Registry

Construcción y Despliegue en Google Cloud Platform

Infraestructura como Código: Conceptos y Herramientas Clave

Despliegue de Aplicaciones Serverless en Google Cloud Platform

Google Kubernetes Engine

Fundamentos de Kubernetes y Google Kubernetes Engine

Creación y Despliegue de Clúster Kubernetes en Google Cloud

Planificación de Ambientes de Despliegue en Kubernetes

Implementación y Gestión de Anthos para Aplicaciones en la Nube

Cloud Run: Despliegue de Contenedores Serverless en Google Cloud

Despliegue de Servicios en Cloud Run con GKE

Anthos Service Mesh: Observabilidad y Seguridad en Kubernetes

Tour Completo de Anthos: Despliegue y Gestión en Google Cloud

Streaming Data Analytics

Integración de Datos en Tiempo Real con Google Cloud Data Fusion

Construcción de Flujos de Datos con Google Cloud Data Fusion

Ingesta de Datos Confiable en Google Cloud Platform

Ingesta de Eventos en Google Cloud con Apache Kafka y Dataflow

Configuración de Apache Kafka y Debezium en Linux para SQL Server y PubSub

Visualización de Mensajes en Google Cloud con Dataflow y BigQuery

Construcción de un Data Lakehouse con Google BigQuery

Ventajas de BigQuery como Data Lakehouse

Opciones de Almacenamiento en Google Cloud Platform

Gestión de Datos en Google Cloud: Portafolio y Migración

Gobierno de Datos en Google Cloud: Mejores Prácticas y Herramientas

Calidad y Monitoreo de Datos en Google Cloud

Machine Learning

Conceptos Básicos de Inteligencia Artificial y Aprendizaje Automático

Soluciones de IA y Machine Learning en Google Cloud para Desarrolladores

AutoML Tables: Modelado Predictivo con Datos Estructurados

Uso de AutoML Tables en Google Cloud para Modelos de Clasificación

Predicción de Tarifas con Jupyter Notebooks en Google Cloud

Análisis de Datos de Taxis en iNotebook con Google Cloud y BigQuery

Implementación de Pipelines con TensorFlow Extended

Sesiones en vivo

Mentoría en Google Cloud con Pablo Pérez Villanueva

Configuración de Apache Kafka y Debezium en Linux para SQL Server y PubSub