Exportación de datos a S3
Contenido del curso
JUAN PABLO MAYORGA MENDIETA
JUAN PABLO MAYORGA MENDIETA
Mario Alexander Vargas Celis
ANDRES ALFONSO MIRA MEJIA
Amazon S3 (Simple Storage Service) es un servicio de almacenamiento en la nube proporcionado por Amazon Web Services (AWS). S3 permite a los usuarios almacenar y recuperar grandes cantidades de datos de forma segura y escalable en la nube. Es un servicio sin servidor, lo que significa que los usuarios no tienen que preocuparse por la gestión de la infraestructura subyacente para el almacenamiento de datos. En cambio, Amazon se encarga de la gestión y el mantenimiento de la infraestructura necesaria para ofrecer el servicio de almacenamiento en la nube.
Los datos almacenados en S3 se pueden acceder a través de una interfaz web, una API RESTful o una API de SDK para diferentes lenguajes de programación. Los usuarios pueden almacenar cualquier tipo de datos en S3, como archivos, imágenes, vídeos, documentos y datos de aplicaciones.
el ejercicio se centra en crear un bucket de S3 en donde se almacene el resultado de exportar los datos de la tabla de personajes de dynamoDB
Exportar datos de DynamoDB a Amazon S3 es una tarea común para respaldos, análisis o integraciones. Aquí te muestro las opciones disponibles y cómo hacerlo paso a paso:
✅ OPCIÓN 1: Exportar directamente desde DynamoDB a S3 (sin código)
🔸 Requisitos:
🔸 Pasos (consola AWS):
.parquet por cada fragmento exportado.✅ OPCIÓN 2: Usar AWS Data Pipeline (más personalizable, pero está quedando en desuso)
Recomendado solo si necesitas exportar a formatos como CSV/JSON automáticamente.
✅ OPCIÓN 3: Exportación personalizada con AWS Lambda + Streams
Ideal si quieres:
Flujo:
boto3.Ejemplo básico de función Lambda en Python:
import boto3 import json
s3 = boto3.client('s3') bucket_name = 'mi-bucket-export'
def lambda_handler(event, context): for record in event['Records']: if record['eventName'] == 'INSERT': new_item = record['dynamodb']['NewImage'] key = f"dynamodb-backup/{new_item['ID']['S']}.json" s3.put_object( Bucket=bucket_name, Key=key, Body=json.dumps(new_item) )
✅ OPCIÓN 4: Usar AWS Glue para transformar y exportar datos
Si deseas analizar los datos en Athena, QuickSight o Redshift, AWS Glue puede leer DynamoDB, transformarlos y almacenarlos en S3.
🔐 Permisos IAM mínimos
Asegúrate de que el rol de IAM tenga permisos como:
{ "Effect": "Allow", "Action": [ "dynamodb:DescribeTable", "dynamodb:Scan", "s3:PutObject" ], "Resource": "*" }
✅