Lleva tu arquitectura de streaming a producción con confianza: aquí verás cómo crear y activar un clúster AWS MSK basado en Apache Kafka, definir sus recursos críticos y obtener las cadenas de conexión usando Cloud9 y la CLI de AWS. Todo, paso a paso y sin perder tiempo.
¿Cómo crear un clúster AWS MSK paso a paso?
Desde la consola de AWS, busca el servicio MSK y entra a Create Cluster. Asigna un nombre (por ejemplo, Platzi MSK) y selecciona la BPC por defecto. En la región de Virginia, encontrarás seis zonas de disponibilidad y podrás elegir en cuáles desplegar.
- Versiones: selecciona la más reciente indicada, Apache Kafka versión dos punto uno cero.
- Zonas de disponibilidad: mínimo tres. Se eligen, por ejemplo, A, C y F, junto con su subred asociada.
- Brokers: define uno por zona de disponibilidad. Total: tres brokers distribuidos.
- Configuración avanzada: puedes personalizar o dejar por defecto.
- Instancia: Kafka M5 Large para optimizar costos.
- Almacenamiento: por defecto 1000 GB. Rango permitido: 1 GB a 16384 GB.
- Customer Master Key: se cambia solo vía CLI.
Confirma con Create Cluster. El status pasará a creating y tras unos minutos a activo. Con el clúster activo, ya puedes continuar con la obtención de cadenas de conexión y la operación.
¿Qué decisiones impactan disponibilidad y costo?
- Elegir tres zonas de disponibilidad mejora tolerancia a fallas.
- Un broker por zona simplifica y reduce costo inicial.
- Instancia pequeña y almacenamiento por defecto equilibran costo y desempeño.
¿Cómo obtener las cadenas de conexión con la CLI de AWS?
Abre tu IDE en la nube, Cloud9, y usa la CLI para consultar el clúster y recuperar información esencial.
¿Cómo listar y describir por ARN?
- Lista los clúster en la región de Virginia con el primer comando. Identifica el cluster ARN: es el Amazon Resource Name, el identificador único del clúster.
- Copia también la cadena de conexión a su Keeper Connect Stream si la requieres para orquestar tareas del clúster.
- Usa el segundo comando de describe cluster y agrega al final el cluster ARN. Así filtras y recuperas solo el clúster objetivo.
Puntos clave:
- Cluster ARN: identificador único para futuras operaciones.
- su Keeper Connect Stream: cadena para conectarte y administrar orquestación.
¿Cómo obtener el bootstrap de brokers?
- Ejecuta el comando
aws kafka get bootstrap brokers, especifica la región y el cluster ARN.
- El resultado devuelve la cadena de conexión de los brokers, necesaria para productores y consumidores.
Con estas cadenas podrás empezar a enviar información de streaming y operar tus topics y procesos.
¿Qué habilidades y conceptos aplicaste con AWS MSK?
A lo largo del flujo aplicaste habilidades de despliegue, consulta y conexión en un entorno administrado.
- AWS MSK y Apache Kafka: servicio administrado para streaming con integración a proyectos de open source.
- Zonas de disponibilidad y subredes: distribución en A, C y F para resiliencia.
- Brokers: nodos por zona para balance y disponibilidad.
- Cluster ARN (Amazon Resource Name): identificador clave para la CLI.
- su Keeper Connect Stream: cadena para orquestación y administración interna.
- Cloud9: IDE en la nube para ejecutar comandos de forma ágil.
- CLI de AWS: uso de comandos para describir el clúster y obtener bootstrap de brokers.
- Customer Master Key: cambio de clave a través de CLI cuando se requiera.
- Versionado de Kafka: selección de versión dos punto uno cero desde la consola.
- Dimensionamiento: elección de Kafka M5 Large y almacenamiento por defecto de 1000 GB.
- Servicios relacionados en tu ruta de big data: API Gateway, Storage Gateway, Kinesis Data Stream, Kinesis Firehouse y AWS MSK.
¿Tienes dudas sobre el despliegue, las cadenas de conexión o la selección de recursos? Comparte tu caso y comenta qué configuración piensas usar.
