Introducción S3

Clase 38 de 75 • Curso de AWS Certified Solutions Architect Associate

Clase anteriorSiguiente clase

Introducción a Amazon S3

En 2006, Amazon lanzó S3 (Simple Storage Service) con una promesa aparentemente simple: almacenamiento de objetos ilimitado, altamente disponible y duradero. Hoy, S3 almacena más de 100 trillones de objetos y procesa millones de solicitudes por segundo. Detrás de servicios como Netflix, Airbnb o Spotify, S3 gestiona silenciosamente petabytes de datos que consumimos diariamente. Este servicio fundamental ha transformado la forma en que las empresas almacenan y acceden a sus datos.

Conceptos Fundamentales de S3

Amazon S3 se basa en un modelo de almacenamiento de objetos que difiere significativamente de los sistemas de archivos tradicionales. Comprender sus conceptos básicos es esencial para utilizarlo eficazmente.

Buckets y Objetos

Buckets:

  • Contenedores de nivel superior para almacenar objetos
  • Nombres únicos globalmente en todo AWS
  • Asociados a una región específica de AWS
  • Sin límite de objetos por bucket
# Ejemplo de creación de bucket
aws s3 mb s3://mi-empresa-datos-2023 --region us-east-1

Objetos:

  • Entidad fundamental de almacenamiento en S3
  • Compuestos por datos y metadatos
  • Tamaño desde 0 bytes hasta 5 TB
  • Inmutables (no se modifican, se reemplazan)
# Ejemplo de subida de objeto
aws s3 cp informe-financiero.pdf s3://mi-empresa-datos-2023/finanzas/2023/q2/

Claves de Objeto

La clave de objeto es el identificador único de un objeto dentro de un bucket:

  • Secuencia de caracteres Unicode de hasta 1024 bytes
  • Funciona como "ruta" al objeto
  • Incluye prefijos (similares a directorios) y nombre del objeto
  • Base para operaciones de listado y búsqueda
# Estructura de una clave de objeto
s3://nombre-bucket/prefijo1/prefijo2/nombre-archivo.extension

# Ejemplos
s3://mi-empresa-datos-2023/finanzas/2023/q2/informe-financiero.pdf
s3://mi-empresa-datos-2023/usuarios/juan.perez/foto-perfil.jpg

Consideraciones sobre claves:

  • Los prefijos permiten organizar objetos de forma jerárquica
  • El rendimiento de S3 puede verse afectado por la elección de claves
  • Para cargas de trabajo de alto rendimiento, considerar aleatorización de prefijos

Versionamiento de Objetos

El versionamiento permite mantener múltiples variantes de un objeto en el mismo bucket:

  • Característica opcional a nivel de bucket
  • Cada versión tiene un ID único
  • Protección contra eliminaciones y sobrescrituras accidentales
  • Permite recuperar versiones anteriores
# Habilitar versionamiento en un bucket
aws s3api put-bucket-versioning \\
  --bucket mi-empresa-datos-2023 \\
  --versioning-configuration Status=Enabled

Comportamiento del versionamiento:

  • Al sobrescribir un objeto, se crea una nueva versión
  • La versión más reciente es la "versión actual"
  • Las versiones anteriores permanecen accesibles por su ID
  • La eliminación de un objeto crea un "marcador de eliminación"
# Listar versiones de un objeto
aws s3api list-object-versions \\
  --bucket mi-empresa-datos-2023 \\
  --prefix finanzas/2023/q2/informe-financiero.pdf

# Recuperar una versión específica
aws s3api get-object \\
  --bucket mi-empresa-datos-2023 \\
  --key finanzas/2023/q2/informe-financiero.pdf \\
  --version-id "3sL4kqtJlcpXroDTDmJ+rmSpXd3dIbrHY"

Metadatos de Objetos

Los metadatos proporcionan información adicional sobre los objetos:

  • Metadatos del sistema:
    • Gestionados por S3 (fecha de creación, tamaño, hash MD5)
    • Incluyen Content-Type, Content-Length, Last-Modified, etc.
  • Metadatos definidos por el usuario:
    • Pares clave-valor personalizados
    • Nombres de encabezado deben comenzar con "x-amz-meta-"
    • Útiles para clasificación, procesamiento y búsqueda
# Añadir metadatos al subir un objeto
aws s3api put-object \\
  --bucket mi-empresa-datos-2023 \\
  --key documentos/contrato.pdf \\
  --body ./contrato.pdf \\
  --metadata '{"x-amz-meta-departamento":"legal","x-amz-meta-cliente":"acme-corp","x-amz-meta-confidencial":"true"}'

# Recuperar metadatos de un objeto
aws s3api head-object \\
  --bucket mi-empresa-datos-2023 \\
  --key documentos/contrato.pdf

Usos comunes de metadatos:

  • Clasificación de documentos (departamento, proyecto, autor)
  • Información de procesamiento (estado, versión)
  • Datos de negocio (cliente, caso, factura)
  • Control de flujos de trabajo (aprobado, pendiente, rechazado)

Políticas de Bucket vs. ACL Tradicionales

S3 ofrece múltiples mecanismos para controlar el acceso a buckets y objetos. Comprender las diferencias es crucial para implementar una estrategia de seguridad efectiva.

Políticas de Bucket

Las políticas de bucket son documentos JSON que definen reglas de acceso:

  • Se aplican a nivel de bucket
  • Utilizan el lenguaje de políticas de IAM
  • Permiten control granular basado en:
    • Acciones (GetObject, PutObject, etc.)
    • Recursos (buckets y objetos)
    • Condiciones (IP, tiempo, encabezados, etc.)
    • Principales (usuarios, roles, cuentas)
// Ejemplo de política de bucket que permite acceso público de lectura a una carpeta específica
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "PublicReadForGetBucketObjects",
      "Effect": "Allow",
      "Principal": "*",
      "Action": "s3:GetObject",
      "Resource": "arn:aws:s3:::mi-empresa-website/*"
    }
  ]
}

Casos de uso comunes:

  • Restringir acceso a IPs específicas
  • Forzar el uso de HTTPS
  • Permitir acceso entre cuentas
  • Implementar acceso público a ciertos objetos
// Política que restringe acceso a un rango de IPs corporativas
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Deny",
      "Principal": "*",
      "Action": "s3:*",
      "Resource": [
        "arn:aws:s3:::mi-empresa-datos-2023",
        "arn:aws:s3:::mi-empresa-datos-2023/*"
      ],
      "Condition": {
        "NotIpAddress": {
          "aws:SourceIp": [
            "192.168.1.0/24",
            "10.0.0.0/16"
          ]
        }
      }
    }
  ]
}

ACL Tradicionales

Las Listas de Control de Acceso (ACL) son un mecanismo más antiguo y limitado:

  • Control de acceso a nivel de bucket y objeto
  • Conjunto predefinido de permisos (READ, WRITE, etc.)
  • Pueden otorgar permisos a cuentas de AWS específicas o grupos predefinidos
# Ejemplo de configuración de ACL
aws s3api put-object-acl \\
  --bucket mi-empresa-datos-2023 \\
  --key informes/publico/resumen-2023.pdf \\
  --acl public-read

Limitaciones de las ACL:

  • Conjunto limitado de permisos
  • No soportan condiciones
  • No permiten denegar permisos explícitamente
  • AWS recomienda usar políticas de bucket en lugar de ACL

Comparativa y Recomendaciones

CaracterísticaPolíticas de BucketACL
FormatoJSONXML/Predefinido
GranularidadAltaLimitada
CondicionesSíNo
Denegación explícitaSíNo
Facilidad de auditoríaAltaBaja
Recomendación AWSPreferidaUso limitado

Mejores prácticas:

  • Utilizar políticas de bucket como mecanismo principal de control de acceso
  • Limitar el uso de ACL a casos específicos donde sean necesarias
  • Bloquear acceso público a nivel de cuenta y bucket cuando sea posible
  • Auditar regularmente políticas y permisos
# Bloquear acceso público a nivel de bucket
aws s3api put-public-access-block \\
  --bucket mi-empresa-datos-2023 \\
  --public-access-block-configuration "BlockPublicAcls=true,IgnorePublicAcls=true,BlockPublicPolicy=true,RestrictPublicBuckets=true"

Subida en Multipart y Gestión de Carga Masiva

Para archivos grandes o transferencias masivas, S3 ofrece mecanismos optimizados que mejoran la eficiencia y resiliencia.

Subida en Multipart

La carga multiparte permite dividir un objeto grande en partes más pequeñas que se cargan en paralelo:

  • Ventajas:
    • Mejora el throughput aprovechando el paralelismo
    • Permite pausar y reanudar cargas
    • Mayor resiliencia ante fallos de red
    • Obligatorio para objetos mayores de 5 GB
  • Proceso:
    1. Iniciar carga multiparte (obtener ID)
    2. Cargar partes individuales (1-10,000 partes)
    3. Completar carga (S3 ensambla el objeto final)
# Ejemplo de carga multiparte con AWS CLI
# 1. Iniciar
upload_id=$(aws s3api create-multipart-upload \\
  --bucket mi-empresa-datos-2023 \\
  --key videos/presentacion-2023.mp4 \\
  --query 'UploadId' \\
  --output text)

# 2. Cargar partes (ejemplo con split)
split -b 100M video.mp4 part-
for part in part-*; do
  part_number=$(echo $part | sed 's/part-//')
  etag=$(aws s3api upload-part \\
    --bucket mi-empresa-datos-2023 \\
    --key videos/presentacion-2023.mp4 \\
    --part-number $part_number \\
    --upload-id $upload_id \\
    --body $part \\
    --query 'ETag' \\
    --output text)
  echo "{\\"PartNumber\\": $part_number, \\"ETag\\": $etag}" >> parts.json
done

# 3. Completar
aws s3api complete-multipart-upload \\
  --bucket mi-empresa-datos-2023 \\
  --key videos/presentacion-2023.mp4 \\
  --upload-id $upload_id \\
  --multipart-upload file://parts.json

Consideraciones:

  • Tamaño mínimo de parte: 5 MB (excepto la última)
  • Tamaño máximo de parte: 5 GB
  • Número máximo de partes: 10,000
  • Las partes incompletas generan costos de almacenamiento

Gestión de Carga Masiva

Para transferencias masivas de datos, AWS ofrece varias herramientas y servicios:

  • AWS CLI con comandos de alto nivel:
    • aws s3 cp: copia archivos individuales
    • aws s3 sync: sincroniza directorios completos
    • aws s3 mv: mueve archivos
# Sincronizar directorio local con bucket
aws s3 sync ./datos s3://mi-empresa-datos-2023/datos \\
  --exclude "*.tmp" \\
  --include "*.csv" \\
  --storage-class STANDARD_IA
  • AWS Transfer Acceleration:
    • Utiliza la red global de edge locations de CloudFront
    • Optimiza transferencias de larga distancia
    • Ideal para cargas desde ubicaciones geográficamente distantes
# Habilitar Transfer Acceleration
aws s3api put-bucket-accelerate-configuration \\
  --bucket mi-empresa-datos-2023 \\
  --accelerate-configuration Status=Enabled

# Usar Transfer Acceleration
aws s3 cp archivo-grande.zip s3://mi-empresa-datos-2023/ --endpoint-url <https://s3-accelerate.amazonaws.com>
  • AWS DataSync:
    • Servicio administrado para transferencias masivas
    • Optimizado para migración de datos on-premises a AWS
    • Programación y monitoreo de transferencias
  • S3 Batch Operations:
    • Realiza operaciones en lotes sobre grandes conjuntos de objetos
    • Copia, etiquetado, restauración desde Glacier, etc.
    • Seguimiento y notificaciones de progreso
# Ejemplo de operación por lotes para cambiar clase de almacenamiento
aws s3control create-job \\
  --account-id 123456789012 \\
  --operation '{"S3PutObjectCopy": {"TargetResource": "arn:aws:s3:::mi-empresa-datos-2023", "StorageClass": "GLACIER"}}' \\
  --manifest '{"Spec":{"Format":"S3BatchOperations_CSV_20180820","Fields":["Bucket","Key"]},"Location":{"ObjectArn":"arn:aws:s3:::mi-empresa-inventario/manifest.csv","ETag":"eac4d2311a7772e11d1a78c43b7c9a1f"}}' \\
  --report '{"Bucket":"arn:aws:s3:::mi-empresa-reportes","Prefix":"batch-copy-reports","Format":"Report_CSV_20180820","Enabled":true,"ReportScope":"AllTasks"}' \\
  --priority 10 \\
  --role-arn arn:aws:iam::123456789012:role/S3BatchJobRole

S3 Event Notifications

S3 puede enviar notificaciones cuando ocurren eventos específicos en un bucket, permitiendo la integración con otros servicios para procesamiento automatizado.

Tipos de Eventos

  • Eventos de objeto:
    • s3:ObjectCreated:*: creación de objetos (Put, Post, Copy, CompleteMultipartUpload)
    • s3:ObjectRemoved:*: eliminación de objetos
    • s3:ObjectRestore:*: restauración desde Glacier
    • s3:Replication:*: eventos de replicación
    • s3:LifecycleTransition: transición entre clases de almacenamiento

Destinos de Notificación

S3 puede enviar notificaciones a varios servicios AWS:

  • AWS Lambda:
    • Ejecución de código sin servidor en respuesta a eventos
    • Procesamiento en tiempo real de objetos
    • Transformación de datos, validación, etc.
# Configuración de notificación a Lambda
aws s3api put-bucket-notification-configuration \\
  --bucket mi-empresa-datos-2023 \\
  --notification-configuration '{
    "LambdaFunctionConfigurations": [
      {
        "LambdaFunctionArn": "arn:aws:lambda:us-east-1:123456789012:function:ProcesarImagen",
        "Events": ["s3:ObjectCreated:*"],
        "Filter": {
          "Key": {
            "FilterRules": [
              {
                "Name": "prefix",
                "Value": "imagenes/"
              },
              {
                "Name": "suffix",
                "Value": ".jpg"
              }
            ]
          }
        }
      }
    ]
  }'
  • Amazon SQS (Simple Queue Service):
    • Cola de mensajes para procesamiento asíncrono
    • Desacoplamiento entre productores y consumidores
    • Ideal para cargas de trabajo por lotes
# Configuración de notificación a SQS
aws s3api put-bucket-notification-configuration \\
  --bucket mi-empresa-datos-2023 \\
  --notification-configuration '{
    "QueueConfigurations": [
      {
        "QueueArn": "arn:aws:sqs:us-east-1:123456789012:mi-cola-procesamiento",
        "Events": ["s3:ObjectCreated:*"],
        "Filter": {
          "Key": {
            "FilterRules": [
              {
                "Name": "prefix",
                "Value": "documentos/"
              }
            ]
          }
        }
      }
    ]
  }'
  • Amazon SNS (Simple Notification Service):
    • Publicación/suscripción para notificaciones
    • Distribución a múltiples suscriptores
    • Soporta múltiples protocolos (email, SMS, HTTP, etc.)
# Configuración de notificación a SNS
aws s3api put-bucket-notification-configuration \\
  --bucket mi-empresa-datos-2023 \\
  --notification-configuration '{
    "TopicConfigurations": [
      {
        "TopicArn": "arn:aws:sns:us-east-1:123456789012:mi-tema-notificaciones",
        "Events": ["s3:ObjectRemoved:*"],
        "Filter": {
          "Key": {
            "FilterRules": [
              {
                "Name": "prefix",
                "Value": "criticos/"
              }
            ]
          }
        }
      }
    ]
  }'
  • Amazon EventBridge:
    • Bus de eventos para integración avanzada
    • Reglas de enrutamiento complejas
    • Integración con más de 20 servicios AWS
# Habilitar EventBridge para un bucket
aws s3api put-bucket-notification-configuration \\
  --bucket mi-empresa-datos-2023 \\
  --notification-configuration '{
    "EventBridgeConfiguration": {}
  }'

Casos de Uso Comunes

  • Procesamiento de imágenes:
    • Redimensionamiento automático al subir
    • Generación de miniaturas
    • Detección de contenido inapropiado
  • Procesamiento de documentos:
    • Extracción de texto con Amazon Textract
    • Conversión de formatos
    • Indexación para búsqueda
  • Flujos de trabajo de datos:
    • ETL (Extract, Transform, Load)
    • Validación y enriquecimiento
    • Actualización de bases de datos
  • Auditoría y cumplimiento:
    • Registro de actividad
    • Verificación de contenido
    • Alertas de seguridad

Cifrado en S3

S3 ofrece múltiples opciones para proteger los datos mediante cifrado, tanto en reposo como en tránsito.

Cifrado en Reposo

El cifrado en reposo protege los datos almacenados en S3:

  • Server-Side Encryption con S3 (SSE-S3):
    • Cifrado gestionado por AWS
    • Claves administradas por S3
    • Cifrado AES-256
    • Opción más simple
# Configurar SSE-S3 para un objeto
aws s3api put-object \\
  --bucket mi-empresa-datos-2023 \\
  --key documentos/confidencial.pdf \\
  --body ./confidencial.pdf \\
  --server-side-encryption AES256
  • Server-Side Encryption con KMS (SSE-KMS):
    • Utiliza AWS Key Management Service
    • Mayor control sobre las claves
    • Registro de auditoría de uso de claves
    • Separación de responsabilidades
# Configurar SSE-KMS para un objeto
aws s3api put-object \\
  --bucket mi-empresa-datos-2023 \\
  --key documentos/muy-confidencial.pdf \\
  --body ./muy-confidencial.pdf \\
  --server-side-encryption aws:kms \\
  --ssekms-key-id arn:aws:kms:us-east-1:123456789012:key/1234abcd-12ab-34cd-56ef-1234567890ab
  • Server-Side Encryption con claves proporcionadas por el cliente (SSE-C):
    • Cliente proporciona las claves de cifrado
    • AWS realiza el cifrado/descifrado
    • AWS no almacena las claves
    • Mayor responsabilidad para el cliente
# Configurar SSE-C para un objeto
aws s3api put-object \\
  --bucket mi-empresa-datos-2023 \\
  --key documentos/ultra-secreto.pdf \\
  --body ./ultra-secreto.pdf \\
  --sse-customer-algorithm AES256 \\
  --sse-customer-key $(openssl rand -base64 32) \\
  --sse-customer-key-md5 $(openssl rand -base64 32 | openssl md5 -binary | base64)
  • Client-Side Encryption:
    • Datos cifrados antes de enviarlos a S3
    • AWS no tiene acceso a datos sin cifrar
    • Puede usar AWS Encryption SDK o bibliotecas de terceros

Cifrado en Tránsito

El cifrado en tránsito protege los datos durante su transmisión:

  • HTTPS/TLS:
    • S3 soporta conexiones HTTPS
    • Recomendado para todas las operaciones
    • Puede forzarse mediante políticas de bucket
// Política que requiere HTTPS
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "RequireHTTPS",
      "Effect": "Deny",
      "Principal": "*",
      "Action": "s3:*",
      "Resource": [
        "arn:aws:s3:::mi-empresa-datos-2023",
        "arn:aws:s3:::mi-empresa-datos-2023/*"
      ],
      "Condition": {
        "Bool": {
          "aws:SecureTransport": "false"
        }
      }
    }
  ]
}

Configuración de Cifrado por Defecto

S3 permite configurar el cifrado por defecto a nivel de bucket:

# Configurar cifrado por defecto con SSE-S3
aws s3api put-bucket-encryption \\
  --bucket mi-empresa-datos-2023 \\
  --server-side-encryption-configuration '{
    "Rules": [
      {
        "ApplyServerSideEncryptionByDefault": {
          "SSEAlgorithm": "AES256"
        },
        "BucketKeyEnabled": true
      }
    ]
  }'

# Configurar cifrado por defecto con SSE-KMS
aws s3api put-bucket-encryption \\
  --bucket mi-empresa-datos-2023 \\
  --server-side-encryption-configuration '{
    "Rules": [
      {
        "ApplyServerSideEncryptionByDefault": {
          "SSEAlgorithm": "aws:kms",
          "KMSMasterKeyID": "arn:aws:kms:us-east-1:123456789012:key/1234abcd-12ab-34cd-56ef-1234567890ab"
        },
        "BucketKeyEnabled": true
      }
    ]
  }'

S3 Bucket Keys

S3 Bucket Keys reduce el costo y mejoran el rendimiento del cifrado SSE-KMS:

  • Reduce las llamadas a KMS (hasta un 99%)
  • Disminuye el costo de uso de KMS
  • Mantiene el mismo nivel de seguridad
  • Recomendado para buckets con muchos objetos pequeños
# Habilitar S3 Bucket Keys
aws s3api put-bucket-encryption \\
  --bucket mi-empresa-datos-2023 \\
  --server-side-encryption-configuration '{
    "Rules": [
      {
        "ApplyServerSideEncryptionByDefault": {
          "SSEAlgorithm": "aws:kms",
          "KMSMasterKeyID": "arn:aws:kms:us-east-1:123456789012:key/1234abcd-12ab-34cd-56ef-1234567890ab"
        },
        "BucketKeyEnabled": true
      }
    ]
  }'

Consideraciones Finales

Amazon S3 es un servicio fundamental en la infraestructura de AWS que ofrece almacenamiento prácticamente ilimitado con alta durabilidad, disponibilidad y rendimiento. Al diseñar soluciones basadas en S3, es importante considerar:

  • Organización de datos: estructura de claves, uso de prefijos, metadatos
  • Control de acceso: políticas de bucket, IAM, bloqueo de acceso público
  • Optimización de costos: clases de almacenamiento, ciclo de vida, S3 Intelligent-Tiering
  • Rendimiento: patrones de acceso, multipart upload, Transfer Acceleration
  • Seguridad: cifrado, políticas, registro de acceso
  • Integración: eventos, Lambda, otros servicios AWS

Con una comprensión sólida de estos conceptos fundamentales, podrás aprovechar todo el potencial de S3 para construir aplicaciones escalables, seguras y eficientes en la nube. Desde sitios web estáticos hasta data lakes de petabytes, S3 proporciona la base para innumerables casos de uso en la arquitectura moderna de aplicaciones.