DynamoDB Streams

Clase 16 de 23 • Curso de Amazon DynamoDB

Gerardo Ferreyra

student•

DynamoDB Streams

En DynamoDB, un stream es un registro cronológico y ordenado de las modificaciones que se han realizado en una tabla. Cada vez que se realiza una modificación en los datos de una tabla de DynamoDB, como agregar, actualizar o eliminar elementos, se registra un evento en el stream asociado a esa tabla.

Los streams son útiles para:

Monitorear los cambios en los datos de la tabla.
Replicar los cambios en tiempo real en otras tablas o bases de datos.
Mantener el historial de versiones de los datos de la tabla.

Los streams se pueden habilitar en cualquier tabla de DynamoDB, y se pueden configurar para incluir solo los cambios en determinados atributos o para incluir toda la información de la fila modificada. Además, se pueden leer a través de la API de DynamoDB Streams o se pueden configurar para enviar eventos a otros servicios de AWS como AWS Lambda o Amazon Kinesis.

Características

Son guardados hasta 24hs.
Usan FIFO (First In, First Out, en español Primero en Entrar, Primero en Salir)
Son Near Real Time, a penas sucede el evento, luego de unos microsegundos son enviados a los streams.
Las operaciones que no cambian el registro son ignoradas, es decir, si no se actualiza, inserta o se elimina son completamente ignoradas.

Servicios integrados

S3: Es un servicio de almacenamiento que ofrece AWS donde se pueden almacenar archivos. A partir de los streams se pueden generar archivos en S3 y tenerlos ahí de backup.
Kinesis: Es un intermediario donde se pueden enviar los eventos ahí, esto va a ser otra cola donde puedes integrar otros servicios.
Lambda: Son una forma de ejecutar código sin tener que aprovisionar ni administrar servidores. Aquí se capturan los eventos, se procesan desde otro servicio.

Mario Alexander Vargas Celis

student•

🔄 DynamoDB Streams: Explicación Clara y Directa

DynamoDB Streams es una característica de Amazon DynamoDB que permite capturar cambios (inserciones, actualizaciones y eliminaciones) en una tabla de DynamoDB en tiempo real.

📌 ¿Para qué sirve?

Con DynamoDB Streams puedes:

Disparar funciones Lambda automáticamente cuando los datos cambian.
Sincronizar datos con otros servicios o bases de datos.
Auditar cambios.
Implementar replicación entre regiones.

🧠 ¿Qué contiene un stream?

Cada registro en el stream puede contener:

El elemento anterior (old image)
El elemento nuevo (new image)
Ambas imágenes
Solo las claves modificadas

Esto depende de la configuración que elijas al habilitar el stream.

⚙️ ¿Cómo habilitar DynamoDB Streams?

Puedes hacerlo al crear o actualizar una tabla:

aws dynamodb update-table \ --table-name NombreDeTuTabla \ --stream-specification StreamEnabled=true,StreamViewType=NEW_AND_OLD_IMAGES

Tipos de StreamViewType:

KEYS_ONLY: solo claves primarias
NEW_IMAGE: solo la nueva versión
OLD_IMAGE: solo la versión anterior
NEW_AND_OLD_IMAGES: ambas versiones

🚀 Conectar Streams a Lambda

Crea la función Lambda.
Asóciala al stream de la tabla:

aws lambda create-event-source-mapping \ --function-name lambda-export \ --event-source-arn arn:aws:dynamodb:REGION:ACCOUNT_ID:table/TuTabla/stream/FECHA \ --starting-position LATEST

📥 Ejemplo de evento recibido por Lambda

{ "Records": [ { "eventID": "1", "eventName": "INSERT", "dynamodb": { "Keys": { "ID": { "S": "123" } }, "NewImage": { "ID": { "S": "123" }, "Nombre": { "S": "Mario" } } }, "eventSource": "aws:dynamodb" } ] }

Juan Camilo Salazar Serna

student•

Dejo el código de la función por si lo necesitan:

def dynamodb_events(event, context):
    try:
        for record in event["Records"]:
            if record["eventName"] == "INSERT":
                manejar_insert(record)
            if record["eventName"] == "MODIFY":
                manejar_update(record)
            if record["eventName"] == "REMOVE":
                manejar_delete(record)
    except Exception as e:
        print(e)
        return "Error"
    return "Lo hicimos"
    
def manejar_insert(record):
    print("Llego envento insert")
    print(record)
    
def manejar_update(record):
    print("Llego envento update")
    print(record)
    
def manejar_delete(record):
    print("Llego envento delete")
    print(record)

JUAN PABLO MAYORGA MENDIETA

student•

la vinculación entre la tabla de dynamo y la función lambda también se puede hacer desde el menú de opciones de lambda

Andres Gonzalez

student•

Me aparece este error al entrar a ver kis regustris del CloudWatch, sera que hice algo incorrecto?

Fredy Alexander Caballero Quintero

student•

me paso igual solo cree un grupo de registro y se soluciono

Omar Melendez Lopez

student•

debes crear el log group que se llame igual al que aparece en el alert banner, el nombre seria - /aws/lambda/lambda-export al usar CLI cuando se creo la lambda muchas veces hay que crear los logs con otro comando de awscli por separado

ANDRES ALFONSO MIRA MEJIA

student•

✅

Gryffindor

student•

Importante:

Los streams son guardados hasta 24 horas
Usan FIFO (tipo cola)
Son Near Real Time
Las acciones que no cambian son ignoradas

JUAN PABLO MAYORGA MENDIETA

student•

En Amazon DynamoDB, un stream es un registro ordenado y duradero de las modificaciones realizadas en una tabla. Cada vez que se realiza una operación de escritura en una tabla de DynamoDB, se puede configurar un stream para que capture los detalles de esa operación, incluyendo el contenido antiguo y nuevo del elemento que se ha modificado.

Los streams de DynamoDB se utilizan comúnmente para habilitar la replicación de datos en tiempo real, para realizar análisis en tiempo real de los cambios en los datos, o para disparar eventos en función de las actualizaciones de la tabla. Los streams también se pueden utilizar para recuperar un historial completo de las modificaciones realizadas en una tabla, lo que puede ser útil para realizar auditorías o para la recuperación ante desastres.

Existen dos tipos de streams en DynamoDB: streams de nuevo imagen y streams de vieja imagen. Los streams de nuevo imagen incluyen el registro completo del elemento que se ha modificado, mientras que los streams de vieja imagen incluyen sólo el contenido antiguo del elemento. Los streams se pueden habilitar y configurar en una tabla de DynamoDB a través de la consola de administración de AWS, la CLI de AWS o las API de AWS.