Creación de Kinesis Data Streams en AWS

¿Cómo se crea un Kinesis Data Stream en AWS?

Para gestionar y procesar grandes cantidades de datos en tiempo real, AWS Kinesis es una de las soluciones más efectivas. Puedes crear y personalizar un Kinesis Data Stream a través de la consola de AWS siguiendo unos pasos clave. Aquí te llevamos por el proceso de creación y configuración inicial.

¿Cómo acceder a Kinesis en AWS?

1. Inicia sesión en la consola de AWS.
2. Busca Kinesis en el panel de servicios. Encontrarás dos opciones: Kinesis y Kinesis Video Stream. Selecciona Kinesis para continuar con los Data Streams.
3. Ingresa al menú de Kinesis y haz clic en "Get Started" para comenzar con la creación de tu Data Stream.

¿Cuáles son las opciones disponibles para Kinesis?

Una vez dentro del entorno de Kinesis, verás cuatro opciones principales para crear:

• Data Stream: Ideal para procesos en tiempo real.
• Delivery Stream: Para la entrega de datos a servicios como Amazon S3.
• Analytics: Facilita el análisis en tiempo real de los datos transmitidos.
• Video Streams: Para streaming de video en tiempo real.

En nuestro caso práctico, seleccionaremos "Create Data Stream".

¿Cómo nombrar y configurar tu Data Stream?

1. Asigna un nombre a tu stream. Por ejemplo, "Platzi Kinesis".

2. Determina la cantidad de shards. Los shards definen la capacidad para manejar la cantidad de tráfico y registros que procesarás.

   • Cada shard puede:
     • Procesar 1 megabyte por segundo de datos de escritura.
     • Soportar hasta 5 megabytes por segundo para lectura.

Evaluar correctamente tu carga de datos es fundamental para definir cuántos shards necesitarás.

¿Cómo enviar datos a Kinesis Data Stream?

Una vez que el Kinesis Data Stream esté configurado, hay varias opciones para enviar datos:

• API PUT Operation: Interfaz estándar para transmisión de datos.
• Kinesis Producer Library (KPL): Una librería que optimiza la producción de datos a través de un productor.
• Integración con Kinesis Firehose y Kinesis Analytics: Para un procesamiento y análisis más avanzado.

¿Qué es importante considerar sobre la seguridad y monitoreo?

• Cifrado de datos: Aunque inicialmente no está habilitado el cifrado del lado del servidor, puedes activar la encriptación con el Key Management System (KMS) de AWS para proteger tus datos.
• Periodos de retención de datos: Dentro de un rango de 24 a 168 horas, afectando el costo del servicio.
• Integración con CloudWatch: Permite tramitar métricas y logs esenciales para monitorear y depurar el flujo de datos.

¿Cómo personalizar los dashboards y etiquetas?

La sección de monitoreo te proporciona dashboards predefinidos para examinar diferentes métricas. Agrupa y filtra recursos por etiquetas (tags) como "Environment" para facilitar la gestión y reporte de recursos.

En resumen, al crear un Kinesis Data Stream, asegúrate de considerar la cantidad de shards, la retención de datos, la inscripción y el manejo de logs. Estos aspectos son esenciales para optimizar los costos y la eficiencia de tu streaming de datos en AWS. Si bien el proceso puede parecer complejo inicialmente, con la práctica y una adecuada planificación, dominarás la creación y administración de tus streams para maximizar el potencial de tus aplicaciones. ¡Sigue explorando y aprendiendo sobre Kinesis y otros servicios de AWS!