Exportación de datos a S3

Clase 19 de 23 • Curso de Amazon DynamoDB

JUAN PABLO MAYORGA MENDIETA

student•

Amazon S3 (Simple Storage Service) es un servicio de almacenamiento en la nube proporcionado por Amazon Web Services (AWS). S3 permite a los usuarios almacenar y recuperar grandes cantidades de datos de forma segura y escalable en la nube. Es un servicio sin servidor, lo que significa que los usuarios no tienen que preocuparse por la gestión de la infraestructura subyacente para el almacenamiento de datos. En cambio, Amazon se encarga de la gestión y el mantenimiento de la infraestructura necesaria para ofrecer el servicio de almacenamiento en la nube.

Los datos almacenados en S3 se pueden acceder a través de una interfaz web, una API RESTful o una API de SDK para diferentes lenguajes de programación. Los usuarios pueden almacenar cualquier tipo de datos en S3, como archivos, imágenes, vídeos, documentos y datos de aplicaciones.

JUAN PABLO MAYORGA MENDIETA

student•

el ejercicio se centra en crear un bucket de S3 en donde se almacene el resultado de exportar los datos de la tabla de personajes de dynamoDB

Mario Alexander Vargas Celis

student•

Exportar datos de DynamoDB a Amazon S3 es una tarea común para respaldos, análisis o integraciones. Aquí te muestro las opciones disponibles y cómo hacerlo paso a paso:

✅ OPCIÓN 1: Exportar directamente desde DynamoDB a S3 (sin código)

🔸 Requisitos:

La tabla debe tener DynamoDB Streams habilitado.
Debes tener un bucket S3 disponible.
Rol de IAM con permisos adecuados.

🔸 Pasos (consola AWS):

Ve a la Consola de DynamoDB.
Selecciona la tabla que quieres exportar.
Haz clic en "Exportar a S3".
Elige el bucket S3 y configura el prefijo (carpeta).
Haz clic en "Exportar".
Se generará un archivo .parquet por cada fragmento exportado.

✅ OPCIÓN 2: Usar AWS Data Pipeline (más personalizable, pero está quedando en desuso)

Recomendado solo si necesitas exportar a formatos como CSV/JSON automáticamente.

✅ OPCIÓN 3: Exportación personalizada con AWS Lambda + Streams

Ideal si quieres:

Exportar solo ciertos datos.
Exportar en tiempo real a medida que se insertan.

Flujo:

Habilita Streams en tu tabla DynamoDB.
Crea una función Lambda que se dispare con los eventos del Stream.
Desde Lambda, escribe los datos en un archivo y súbelos a S3 usando boto3.

Ejemplo básico de función Lambda en Python:

import boto3 import json

s3 = boto3.client('s3') bucket_name = 'mi-bucket-export'

def lambda_handler(event, context): for record in event['Records']: if record['eventName'] == 'INSERT': new_item = record['dynamodb']['NewImage'] key = f"dynamodb-backup/{new_item['ID']['S']}.json" s3.put_object( Bucket=bucket_name, Key=key, Body=json.dumps(new_item) )

✅ OPCIÓN 4: Usar AWS Glue para transformar y exportar datos

Si deseas analizar los datos en Athena, QuickSight o Redshift, AWS Glue puede leer DynamoDB, transformarlos y almacenarlos en S3.

🔐 Permisos IAM mínimos

Asegúrate de que el rol de IAM tenga permisos como:

{ "Effect": "Allow", "Action": [ "dynamodb:DescribeTable", "dynamodb:Scan", "s3:PutObject" ], "Resource": "*" }

ANDRES ALFONSO MIRA MEJIA

student•

✅

Exportación de datos a S3

Introduccion a bases de datos con AWS

Bienvenida a DynamoDB

¿Qué es una base de datos?

Amazon DynamoDB

El núcleo de DynamoDB

Crear una tabla en DynamoDB: primary keys

Hot partitions

Usuarios y permisos IAM en DynamoDB

Instalación de SDK y AWS CLI

Crear tablas y cargar datos en DynamoDB

Consultar y eliminar tablas en DynamoDB

Índices locales

Consultas con índices locales

Índices globales

Unidades de lectura y escritura

Integrando DynamoDB en AWS

SDK y DynamoDB

Creación de AWS Lambda

DynamoDB Streams

Integrar API Gateway con DynamoDB

Casos de uso de DynamoDB

Exportación de datos a S3

Soporte a DynamoDB

Monitoreo de DynamoDB con CloudWatch

Mantenimiento

Escalabilidad

Cierre

Conclusión