Configuración de Apache Kafka y Debezium en Linux para SQL Server y PubSub

Clase 33 de 48 • Entrenamiento de Google Cloud Platform

Clase anteriorSiguiente clase

Resumen

¿Cómo configurar Apache de Vezium en una máquina virtual Linux?

Configurar Apache de Vezium en una máquina virtual Linux puede parecer un desafío, pero con las instrucciones adecuadas, puedes hacerlo de manera efectiva y eficiente. Aquí, te guiaré a través de los pasos esenciales para poner en marcha este potente ecosistema que facilita la captura de eventos desde SQL Server para finalmente enviarlos a Google Cloud Platform.

¿Cómo iniciar Zookeeper y Kafka?

Para empezar, necesitas conectar tu máquina local a la máquina virtual de Google Cloud mediante un comando de autenticación. Luego, cambia de usuario y procede a iniciar Zookeeper, un componente crucial dentro del ecosistema Hadoop y fundamental para el funcionamiento de Kafka.

# Comando para autenticarse y cambiar de usuario
# Comando de inicio de Zookeeper (específico del contexto)
inicia_zookeeper_comando

Una vez que Zookeeper esté funcionando correctamente, puedes proceder a iniciar el clúster de Kafka. Kafka detectará automáticamente que Zookeeper está activo y se iniciará también.

# Comando para iniciar el clúster de Kafka
inicia_kafka_comando

¿Cómo configurar Kafka Connect para SQL Server?

Kafka Connect es esencial para establecer conexiones con fuentes de datos relacionales, como SQL Server. La configuración se maneja a través de archivos de propiedades.

  1. Configurar SQL Server: Coloca el conector en tu máquina virtual en la ruta adecuada. El archivo connect-sql-source.properties es clave y contiene información como:

    • Nombre del host
    • Puerto
    • Usuario y contraseña
    • Nombre de la base de datos y del servidor
    • Tabla a monitorear

  2. Archivo de configuración: Este archivo también permite incluir transformaciones que facilitan la comprensión de los mensajes generados.

# Ejemplo de un fragmento del archivo connect-sql-source.properties
hostname=tu_host
port=tu_puerto
username=tu_usuario
password=tu_contraseña
database.dbname=tu_base_de_datos

¿Cómo configurar el destino en PubSub?

Para enviar datos a Google Cloud, necesitas configurar PubSub. Utiliza un archivo de propiedades llamado CPS-sync-connector.properties.

  1. Comando correcto: Debes utilizar sudo nano para abrir y editar el archivo adecuadamente.
sudo nano CPS-sync-connector.properties
  1. Parámetros importantes:
    • Nombre del tópico
    • Nombre del proyecto en Google Cloud

Algunos detalles configurables son críticos para que Apache de Vezium capture correctamente los mensajes de las tablas.

¿Cómo iniciar Kafka Connect con los conectores configurados?

Con los archivos de configuración listos, ve a la ruta raíz del usuario y ejecuta Kafka Connect. Asegúrate de incluir los conectores de SQL Server y PubSub en el comando.

# Comando para ejecutar Kafka Connect
ejecuta_kafka_connect_comando

Kafka Connect detectará automáticamente que el clúster está en funcionamiento y comenzará a captar los registros de las tablas especificadas.

¿Cómo visualizar los mensajes en Kafka?

Es posible observar los mensajes capturados desde la base de datos SQL Server utilizando el comando de Kafka consumer:

  1. Conectar y cambiar usuario: Realiza los pasos habituales para conectarte y cambiar de usuario.

  2. Comando Kafka consumer: Configura el consumo de mensajes desde el inicio con el offset from beginning.

# Comando para visualizar los mensajes en Kafka
kafka-consumer-comando --from-beginning

Realizar pruebas de captura de mensajes

Finalmente, desde tu base de datos SQL Server, puedes insertar registros nuevos para verificar si Kafka está capturando adecuadamente la información. Observa cómo los registros aparecen en tiempo real, confirmando la correcta integración.

Con estos pasos, has configurado con éxito Apache de Vezium en una máquina virtual Linux, preparándote para enviar datos hacia los servicios de Google Cloud Platform. ¡Sigue explorando y perfeccionando tu configuración para aprovechar al máximo estas tecnologías!