Uso de DynamoDB Streams para Arquitecturas en Tiempo Real

Clase 29 de 32 • Curso Práctico de Bases de Datos en AWS

Resumen

DynamoDB Streams nos proporciona una secuencia ordenada por tiempo de cambios de los elementos de cualquier tabla, es decir, guarda los cambios de nuestros elementos para que podamos procesar y consumir esta información, podemos ampliar el poder de DynamoDB con replicación entre regiones, análisis continuo con integración a Redshift, notificación de cambios y muchos otros escenarios.

Estos streams capturan una secuencia en orden cronológico de las modificaciones de los elementos de una tabla y almacenan la información por 24 horas. Cada registro de secuencia contiene la información sobre una sola modificación a los datos de un elemento de la tabla. Nuestras aplicaciones pueden obtener acceso a este registro y ver los elements de datos tal y como se encontraban antes y después.

Esteban Rodriguez

student•

Se me ocurre que la bd de Whatsapp que guarda los datos de Status de sus usuarios utiliza esta funcion Dynamo Stream

Marco Franceschi

student•

Si te interesa como pueden estar diseñados los sistemas como Whatsapp te recomiendo buscar videos de System Design en YouTube, hay empresas que hacen estas preguntas en entrevistas de trabajo. No necesariamente está orientado a AWS, pero es un buen ejercicio para complementar las clases del curso Whatsapp System Design

Patricio Sánchez Fernández

student•

Buen dato Marco...!

Usuario anónimo

user•

Características Streams y Replicación en DynamoDB DynamoDB Streams nos proporciona una secuencia ordenada por tiempo de cambios de los elementos de cualquier tabla, es decir, guarda los cambios de nuestros elementos para que podamos procesar y consumir esta información, podemos ampliar el poder de DynamoDB con replicación entre regiones, análisis continuo con integración a Redshift, notificación de cambios y muchos otros escenarios.

Patricio Sánchez Fernández

student•

Buen resumen, Platzerito.

Usuario anónimo

user•

Usuario anónimo

user•

En DynamoDB se pueden realizar consultas CRUD en su totalidad? Gracias.

Mario Alexander Vargas Celis

student•

🚀 Cómo Usar DynamoDB Streams en AWS

DynamoDB Streams permite capturar cambios en una tabla DynamoDB en tiempo real. Puedes usarlo con AWS Lambda, Kinesis, o procesarlo manualmente.

1️⃣ Habilitar DynamoDB Streams

Ir a la Consola de AWS → DynamoDB → Tablas.
Selecciona tu tabla.
Ve a la pestaña "Streams".
Habilita el stream y elige el formato de vista:
- KEYS_ONLY: Solo claves primarias.
- NEW_IMAGE: Solo valores nuevos.
- OLD_IMAGE: Solo valores antiguos.
- NEW_AND_OLD_IMAGES: Antes y después del cambio.
Guarda los cambios.

2️⃣ Configurar AWS Lambda para Procesar el Stream

AWS Lambda puede reaccionar automáticamente a eventos de DynamoDB Streams.

Paso 1: Crear la Función Lambda

Ir a AWS Lambda → Crear función.
Seleccionar Autor desde cero.
Nombre: DynamoDBStreamProcessor
Tiempo de ejecución: Python 3.x (o Node.js)
Crear función.

Paso 2: Asignar Permisos a Lambda

Ir a Roles de IAM → Selecciona el rol de la función Lambda.
Agregar la política "AWSLambdaDynamoDBExecutionRole".

Paso 3: Conectar Lambda con el Stream

Ir a Lambda → Agregar Trigger.
Seleccionar DynamoDB.
Escoger tu tabla y stream.
Configurar batch size (ej. 100).
Guardar.

Paso 4: Código Lambda (Python)

Este código imprime los eventos de DynamoDB Streams.

import json

def lambda_handler(event, context): for record in event['Records']: print("Evento recibido:", json.dumps(record, indent=2)) if record['eventName'] == 'INSERT': print("Nuevo ítem agregado:", record['dynamodb']['NewImage']) elif record['eventName'] == 'MODIFY': print("Ítem modificado:", record['dynamodb']) elif record['eventName'] == 'REMOVE': print("Ítem eliminado:", record['dynamodb']['Keys']) return {'statusCode': 200, 'body': 'Procesado'}

3️⃣ Probar el Stream

Insertar datos en DynamoDB:import boto3

dynamodb = boto3.resource('dynamodb') table = dynamodb.Table('MiTabla')

table.put_item( Item={ 'id': '123', 'nombre': 'Producto A', 'precio': 100 } )
Verificar en CloudWatch → Logs de Lambda.
Revisar eventos de INSERT, MODIFY, REMOVE.

🚀 Conclusión

✅ DynamoDB Streams captura cambios en tiempo real. ✅ AWS Lambda permite procesarlos sin servidores. ✅ Puedes integrarlo con Kinesis, SQS o eventos personalizados.

Mario Alexander Vargas Celis

student•

📌 Streams y Replicación en DynamoDB

Amazon DynamoDB Streams y la Replicación Global son dos características clave para mantener la integridad de los datos y la alta disponibilidad en aplicaciones distribuidas.

1️⃣ DynamoDB Streams

🔹 ¿Qué es? Es una flujo de cambios en una tabla DynamoDB que captura eventos de inserción, modificación o eliminación de datos.

🔹 Casos de Uso: ✅ Replicación de datos en múltiples regiones. ✅ Procesamiento en tiempo real con AWS Lambda. ✅ Auditoría y control de cambios. ✅ Sincronización con otros sistemas (Ej. Elasticsearch, Redshift, etc.).

🚀 Cómo Funciona

Cuando se habilita DynamoDB Streams, cada cambio genera un registro en el stream, que se mantiene por 24 horas.

Cada registro puede incluir:

NEW_IMAGE: Estado después del cambio.
OLD_IMAGE: Estado antes del cambio.
KEYS_ONLY: Solo las claves afectadas.
NEW_AND_OLD_IMAGES: Antes y después del cambio.

🔹 Ejemplo de Evento en el Stream

{ "eventID": "1", "eventName": "INSERT", "dynamodb": { "Keys": { "pedido_id": { "S": "P001" } }, "NewImage": { "pedido_id": { "S": "P001" }, "fecha": { "S": "2025-03-10" }, "monto": { "N": "100" } }, "StreamViewType": "NEW_IMAGE" } }

📌 2️⃣ Replicación Global en DynamoDB

🔹 ¿Qué es? La Replicación Global permite crear tablas sincronizadas en múltiples regiones de AWS para mejorar la disponibilidad y reducir la latencia.

🔹 Casos de Uso: ✅ Alta disponibilidad: Evita caídas si una región falla. ✅ Baja latencia: Los usuarios acceden a la región más cercana. ✅ Disaster recovery: Recuperación rápida ante fallos. ✅ Cumplimiento legal: Mantener datos en regiones específicas.

🚀 Cómo Funciona

1️⃣ Se crea una Tabla Global con la misma estructura en varias regiones. 2️⃣ DynamoDB replica automáticamente los cambios entre regiones. 3️⃣ La replicación es asíncrona, garantizando eventual consistency.

🔹 DynamoDB Streams se usa internamente para detectar cambios y replicarlos a otras regiones.

📌 Diferencias entre Streams y Replicación Global

CaracterísticaDynamoDB StreamsReplicación GlobalPropósitoProcesar cambios en tiempo realReplicar tablas entre regionesAlcanceSolo una tabla en una regiónVarias tablas en múltiples regionesPersistencia24 horasPermanenteConsistenciaEventual o fuerteEventualCostoBajo (pago por uso)Más alto (multi-región)

📌 Conclusión

✅ DynamoDB Streams es ideal para procesamiento en tiempo real y auditoría. ✅ Replicación Global es esencial para disponibilidad en múltiples regiones. ✅ Ambas características pueden usarse juntas para crear arquitecturas resilientes y escalables.

Jeisson Espinosa

student•

Información resumida de esta clase

#EstudiantesDePlatzi

DynamoDB Streams proporciona una secuencia ordenada por tiempo de los cambios realizados en la base de datos
Esto no permite alimentar otros servicios dentro de AWS en tiempo real
Los Streams hacen una captura en orden cronológico de las modificaciones y las almacena durante 24 Horas

john ct

student•

DynamoDB Streams nos proporciona una secuencia ordenada por tiempo de cambios de los elementos de cualquier tabla, es decir, guarda los cambios de nuestros elementos para que podamos procesar y consumir esta información, podemos ampliar el poder de DynamoDB con replicación entre regiones, análisis continuo con integración a Redshift, notificación de cambios y muchos otros escenarios.

john ct

student•

Amazon Kinesis Client Library and the Amazon DynamoDB Streams Kinesis Adapter.

john ct

student•

An application in one AWS Region modifies the data in a DynamoDB table. A second application in another Region reads these data modifications and writes the data to another table, creating a replica that stays in sync with the original table.

A popular mobile app modifies data in a DynamoDB table, at the rate of thousands of updates per second. Another application captures and stores data about these updates, providing near-real-time usage metrics for the mobile app.

Usuario anónimo

user•

Hola ¿podría utilizarse en registro de cambios sucedidos en pacientes que presentan una enfermedad, ejemplo signos vitales, niveles sanguineos de x o y sustancia o x o y marcador?

Usuario anónimo

user•

Stream.. para monitorear tablas en cache para ser procesada en tiempo real :)

Usuario anónimo

user•

Excelente

Usuario anónimo

user•

Considero que para las aplicaciones de redes sociales como, WhatsApp son útiles.

Usuario anónimo

user•

Genial

Usuario anónimo

user•

genial

Usuario anónimo

user•

gracias

Usuario anónimo

user•

Interesante pero discutible.

Jorge Armando Sanjuan Angarita

student•

Muy buena la explicación