Creación de clúster AWS MSK desde la consola

Lleva tu arquitectura de streaming a producción con confianza: aquí verás cómo crear y activar un clúster AWS MSK basado en Apache Kafka, definir sus recursos críticos y obtener las cadenas de conexión usando Cloud9 y la CLI de AWS. Todo, paso a paso y sin perder tiempo.

¿Cómo crear un clúster AWS MSK paso a paso?

Desde la consola de AWS, busca el servicio MSK y entra a Create Cluster. Asigna un nombre (por ejemplo, Platzi MSK) y selecciona la BPC por defecto. En la región de Virginia, encontrarás seis zonas de disponibilidad y podrás elegir en cuáles desplegar.

• Versiones: selecciona la más reciente indicada, Apache Kafka versión dos punto uno cero.
• Zonas de disponibilidad: mínimo tres. Se eligen, por ejemplo, A, C y F, junto con su subred asociada.
• Brokers: define uno por zona de disponibilidad. Total: tres brokers distribuidos.
• Configuración avanzada: puedes personalizar o dejar por defecto.
• Instancia: Kafka M5 Large para optimizar costos.
• Almacenamiento: por defecto 1000 GB. Rango permitido: 1 GB a 16384 GB.
• Customer Master Key: se cambia solo vía CLI.

Confirma con Create Cluster. El status pasará a creating y tras unos minutos a activo. Con el clúster activo, ya puedes continuar con la obtención de cadenas de conexión y la operación.

¿Qué decisiones impactan disponibilidad y costo?

• Elegir tres zonas de disponibilidad mejora tolerancia a fallas.
• Un broker por zona simplifica y reduce costo inicial.
• Instancia pequeña y almacenamiento por defecto equilibran costo y desempeño.

¿Cómo obtener las cadenas de conexión con la CLI de AWS?

Abre tu IDE en la nube, Cloud9, y usa la CLI para consultar el clúster y recuperar información esencial.

¿Cómo listar y describir por ARN?

• Lista los clúster en la región de Virginia con el primer comando. Identifica el cluster ARN: es el Amazon Resource Name, el identificador único del clúster.
• Copia también la cadena de conexión a su Keeper Connect Stream si la requieres para orquestar tareas del clúster.
• Usa el segundo comando de describe cluster y agrega al final el cluster ARN. Así filtras y recuperas solo el clúster objetivo.

Puntos clave: - Cluster ARN: identificador único para futuras operaciones. - su Keeper Connect Stream: cadena para conectarte y administrar orquestación.

¿Cómo obtener el bootstrap de brokers?

• Ejecuta el comando aws kafka get bootstrap brokers, especifica la región y el cluster ARN.
• El resultado devuelve la cadena de conexión de los brokers, necesaria para productores y consumidores.

Con estas cadenas podrás empezar a enviar información de streaming y operar tus topics y procesos.

¿Qué habilidades y conceptos aplicaste con AWS MSK?

A lo largo del flujo aplicaste habilidades de despliegue, consulta y conexión en un entorno administrado.

• AWS MSK y Apache Kafka: servicio administrado para streaming con integración a proyectos de open source.
• Zonas de disponibilidad y subredes: distribución en A, C y F para resiliencia.
• Brokers: nodos por zona para balance y disponibilidad.
• Cluster ARN (Amazon Resource Name): identificador clave para la CLI.
• su Keeper Connect Stream: cadena para orquestación y administración interna.
• Cloud9: IDE en la nube para ejecutar comandos de forma ágil.
• CLI de AWS: uso de comandos para describir el clúster y obtener bootstrap de brokers.
• Customer Master Key: cambio de clave a través de CLI cuando se requiera.
• Versionado de Kafka: selección de versión dos punto uno cero desde la consola.
• Dimensionamiento: elección de Kafka M5 Large y almacenamiento por defecto de 1000 GB.
• Servicios relacionados en tu ruta de big data: API Gateway, Storage Gateway, Kinesis Data Stream, Kinesis Firehouse y AWS MSK.

¿Tienes dudas sobre el despliegue, las cadenas de conexión o la selección de recursos? Comparte tu caso y comenta qué configuración piensas usar.