Configuración de Kinesis Firehose en AWS paso a paso

Clase 18 de 52 • Curso de Big Data en AWS

Clase anteriorSiguiente clase

Resumen

¿Cómo configuramos Kinesis Firehose en AWS?

Configurar Kinesis Firehose dentro de AWS puede parecer un desafío al principio, pero con los pasos adecuados, este proceso puede ser altamente eficiente. AWS Kinesis es una herramienta poderosa que permite la ingestión y el procesamiento de grandes volúmenes de datos en tiempo real, crucial para empresas que buscan tomar decisiones basadas en datos rápidamente. Vamos a explorar cómo configurar un delivery stream utilizando Kinesis Firehose.

¿Cómo creamos un Delivery Stream en Kinesis?

Para comenzar la configuración, nos dirigimos a la consola de AWS y buscamos el servicio Kinesis. Una vez allí, seleccionamos la opción para crear un nuevo delivery stream. Aquí es donde entra en juego Kinesis Firehose. Sigamos estos pasos:

  1. Crear el Firehose: Hacemos clic en "Create Delivery Stream" y damos un nombre a nuestro Firehose, por ejemplo, "Firehose Platzi".

  2. Formas de Alimentar Kinesis Firehose: Existen varias formas de alimentar el servicio:

    • API Directa: Puedes alimentar directamente utilizando otras APIs de recursos.
    • Kinesis Stream: Seleccionas que tus registros provengan de un Kinesis Stream existente.

  3. Opciones de Servicio: Al seleccionar cómo alimentar Firehose, considera:

    • Agentes de Kinesis.
    • Servicios de IoT (Internet de las Cosas) como colas MQTT.
    • Integración con logs y eventos de CloudWatch.

¿Debemos transformar la data?

Un aspecto crucial de Kinesis Firehose es la transformación de datos. Puedes optar por transformar los datos antes de enviarlos a su destino final. Este proceso incluye:

  • Transformación de Datos: Decide si habilitarás transformación. Al hacerlo, puedes utilizar funciones Lambda para aplicar transformaciones personalizadas.

  • Conversión de Formatos: A menudo es más eficiente convertir los datos a formatos comprimidos como Apache Parquet o ORC en lugar de JSON. Esto requiere configuraciones adicionales en AWS Glue.

¿Cuál es el destino de la data transformada?

Define a dónde se enviarán los datos después de ser transformados. AWS ofrece varias opciones de destino, cada una adecuada para diferentes casos de uso:

  1. Amazon S3:

    • Debes especificar un bucket y prefijos si es necesario.
    • Configuraciones de buffer y compresión.

  2. Amazon Redshift:

    • Selecciona el clúster, base de datos, y tabla.
    • Utiliza un bucket intermedio para la transferencia de datos.

  3. Elasticsearch:

    • Define el índice y configura las opciones de rotación.
    • Configura un bucket de S3 como respaldo en caso de que el clúster de Elasticsearch esté fallando.

  4. Splunk:

    • Conecta Firehose al servicio Splunk para enviar datos procesados.

¿Qué configuraciones adicionales debemos considerar?

Al configurar Kinesis Firehose, hay ajustes adicionales que pueden mejorar su eficiencia y seguridad:

  • Condiciones de Buffer y Compresión: Cambia el tamaño del buffer y selecciona el intervalo y método de compresión.

  • Encriptación y Seguridad: Considera usar Key Management System (KMS) para encriptar la información.

  • Logs y Monitoring: Decide si habilitarás registros (logs) del flujo de datos y asigna roles que proporcionen los permisos necesarios para que Kinesis interactúe con otros servicios.

Con estas pautas, configurar Kinesis Firehose en AWS se convierte en un proceso claro y dirigido, permitiéndote manejar grandes volúmenes de datos con eficacia. La clave está en comprender tus necesidades y seleccionar opciones que mejor se alineen con tus objetivos empresariales y técnicos. ¡Atrévete a explorar y usar AWS para gestionar tus datos con soltura!