Casos de Uso Avanzados de S3 en AWS

Contenido del curso

Bienvenida e Introducción

Almacenamiento de objetos en AWS (S3)

Clases de storage en S3

Seguridad en S3.

Storage Gateway

Sistema de archivos elástico (EFS)

Sistema de archivo por bloques (EBS)

Conclusiones

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0011:12

Casos de Uso Avanzados de S3 en AWS

Curso Práctico de Storage en AWS

Clase 16 de 37

Clase 16 / 37

Recursos

¿Cómo se integra S3 en soluciones de gran impacto?

Amazon S3 es más que un simple almacenamiento en la nube. Su integración con diversos servicios de Amazon Web Services (AWS) permite crear arquitecturas complejas y funcionales, capaces de atender necesidades empresariales de gran escala. Exploraremos cómo S3 se convierte en un pilar fundamental en el análisis de datos y la seguridad, permitiendo a las empresas transformar y proteger su información de forma eficiente.

¿Cómo se gestionan los logs de aplicaciones móviles con S3?

Comienza con CloudWatch, que recolecta logs en tiempo real de aplicaciones móviles. Cada acción del usuario genera un log que se envía a CloudWatch. Un script en Python, utilizando el SDK de AWS, conecta con CloudWatch para extraer y transferir los logs del día anterior a S3. La estructura de los logs en S3 se organiza por año, mes, día y servicio, por ejemplo, separando acciones de registro de usuario de las compras. Una vez almacenados en S3, estos datos se mantienen encriptados y, opcionalmente, versionados.

Por la noche, una tarea automatizada en AWS Glue o EMR (Elastic Map Reduce) accede a los datos en S3 para transformarlos. Glue los limpia, separándolos por servicios, y crea un catálogo que estructura la información en tablas. Este catálogo permite realizar consultas SQL a través de AWS Athena sobre los datos transformados.

¿Qué usos específicos se le pueden dar a la información procesada?

La información procesada y consultada desde S3 tiene aplicaciones muy concretas en diversas áreas:

Compliance y Auditoría: Las áreas de cumplimiento pueden utilizar AWS Athena para consultar transacciones financieras del día anterior, asegurando que todos los movimientos están auditados.
Marketing: Los equipos de marketing pueden analizar cuántos usuarios utilizaron servicios específicos, como compras, durante un período determinado, permitiendo decisiones informadas de estrategia de mercado.
Visualización y BI: Conectar QuickSight permite visualizar los datos transformados en informes y dashboards, proporcionando una comprensión visual de la actividad empresarial.

¿Cómo mejora la seguridad y la vigilancia de los buckets con S3?

Para garantizar la seguridad de los datos almacenados en buckets de S3, se integran varios servicios de AWS:

CloudTrail y CloudWatch: Se recolectan eventos de tipo "put" y "delete" para notificar al instante a stakeholders sobre actividades críticas, como la eliminación de archivos.
Amazon Macie: Este servicio analiza patrones de actividad y genera alertas preventivas o predictivas. Puede identificar comportamientos anómalos, como un incremento inesperado en la escritura de datos debido a una campaña de marketing, y clasificar datos sensibles como tarjetas de crédito o credenciales subidas accidentalmente.

Estos mecanismos no solo aumentan la visibilidad y control sobre los datos almacenados, sino que también aseguran que las organizaciones puedan responder rápidamente a posibles incidentes de seguridad.

¿Qué otros casos de uso destaca S3 en la industria?

Amazon S3 no se limita a logs y seguridad; su versatilidad se extiende a:

Procesamiento de Big Data: Donde S3 sirve como depósito central para vastas cantidades de datos analizados por frameworks como Spark, Presto y Hive en EMR.
Almacenamiento de Pólizas de Seguros: Facilitando a empresas del sector seguros la gestión y accesibilidad a grandes volúmenes de documentación.
Integración con Herramientas de BI: Para proporcionar dashboard intuitivos y análisis visuales a equipos de negocio.

Motivamos a generar ideas sobre cómo S3 puede implementarse en sectores específicos que conozcan. S3 se erige como un componente esencial en soluciones de AWS, ampliando sus capacidades cuando se combina con otros servicios, maximizando eficiencia y seguridad en la gestión de datos. ¡Continúa explorando y aprovechando las posibilidades de AWS!

Mario Alexander Vargas Celis

Hace 2 años

📂 Casos de Uso de Amazon S3 (Simple Storage Service)

Amazon S3 es un servicio de almacenamiento en la nube que ofrece alta disponibilidad, escalabilidad y seguridad. Se utiliza en diversos casos, desde almacenamiento de datos hasta respaldo y análisis.

1️⃣ Almacenamiento de Archivos y Contenidos Estáticos

📌 Ejemplo: Una empresa de medios digitales almacena imágenes y videos para su sitio web. 🔹 Solución: Guardar contenido en S3 Estándar y servirlo a través de Amazon CloudFront (CDN). 🔹 Beneficio: Carga rápida y costos optimizados gracias al caché en la red global de AWS.

2️⃣ Backup y Recuperación ante Desastres

📌 Ejemplo: Un banco realiza copias de seguridad diarias de sus bases de datos. 🔹 Solución: Almacenar backups en S3 Glacier con políticas de ciclo de vida. 🔹 Beneficio: Reducción de costos y acceso a datos históricos en caso de fallos.

3️⃣ Almacenamiento de Big Data para Análisis

📌 Ejemplo: Una empresa de marketing almacena logs de usuarios para análisis de comportamiento. 🔹 Solución: Guardar logs en S3 Intelligent-Tiering y procesarlos con AWS Athena y Amazon Redshift. 🔹 Beneficio: Análisis eficiente sin necesidad de bases de datos costosas.

4️⃣ Hosting de Sitios Web Estáticos

📌 Ejemplo: Una startup necesita un sitio web estático sin servidores. 🔹 Solución: Usar S3 con configuración de "Static Website Hosting". 🔹 Beneficio: Escalabilidad automática y menor costo en comparación con servidores tradicionales.

5️⃣ Integración con Machine Learning y AI

📌 Ejemplo: Una empresa de salud almacena imágenes médicas para diagnóstico con AI. 🔹 Solución: Guardar imágenes en S3 y procesarlas con AWS SageMaker. 🔹 Beneficio: Escalabilidad y acceso rápido a grandes volúmenes de datos para entrenar modelos.

6️⃣ Almacenamiento y Distribución de Software

📌 Ejemplo: Un desarrollador distribuye archivos de instalación y actualizaciones de su software. 🔹 Solución: Guardar binarios en S3 con permisos de acceso controlado. 🔹 Beneficio: Entrega segura y rápida de software a nivel global.

🚀 Conclusión

Amazon S3 se adapta a múltiples casos de uso, desde almacenamiento simple hasta procesamiento avanzado de datos. Su bajo costo, flexibilidad y seguridad lo convierten en la mejor opción para empresas y desarrolladores.

Comentarios (30)30 comentarios

Ricardo Chavarria

Hace 8 años

Actualmente en la empresa que laboro estamos desarrollando una aplicación todo en uno para pequeñas y medianas empresas, la app maneja bastante imágenes y archivos, anteriormente lo almacenábamos en la base de datos como binario pero esto era muy lento, y decidimos usar S3 por su rapidez y la gran cantidad de ventajas, y ahora nuestra app es mucho mas rápida.

Carlos Andrés Zambrano Barrera

Profesor

Excelente noticia!

Jorge Armando Sanjuan Angarita

Hace 6 años

Muy buena practica.

Pablo Fernández

Hace 7 años

Si quiren hacer diagramas para aws les recomiendo Cloudcraft es ¡nave!

Juan David Cajamarca Acuña

Buenísimo. Buen aporte.

Gran aporte. Gracias.

Jhonatan Steven Yepes

Un caso de uso real que trabajé con s3 fue exponer un SFTP con filetransfer y utilizar buckets de S3 para compartir información con un aliado, de esta manera pudimos soportar el intercambio de información sin perder las ventajas de los servicios de AWS que se pueden integrar con S3 (KMS, Cloudwatch, Eventos para llamar lambdas y SNS)

Hans Pereira

Oh me interesa un montón esto, entonces puedes subir y descargar archivos a S3 a través de un SFTP?

Ismael G Pulido

yo voy a conectar un ec2 con s3 para almacenar las facturas fiscales, a los 6 meses pasarán a IA y al paso de un año, estas se mandarán a glacier

rayner däppen

El caso de uso por excelencia es la forma como Netflix almacena sus peliculas y hace uso de la infraestructura de S3 para tener una alta disponibilidad y accesibildad de sus peliculas a lo largo y ancho del planeta.

john ct

muy interesante lo que hace EMR elastic Map Reduce junto con glue ETL extract Transform and Loaded. que potentes esos tools.

Luis fernando Valderrama Gastiaburu

Algunos casos de uso:

Guardar recursos estáticos de una página web(js, css, html) y integrar el bucket con cloudFront para hacer un CDN de esos recursos y asi disminuir la latencia de obtención de dichos recursos.
Guardar imágenes del perfil de usuarios, reportes, documentos en general, buckups.
Guardar información de archivos(txt, xml, csv, json) y usar funciones de lambda o integrarlo a un sistema para que procese dicha información y genere información procesada en un una db(sql o noSql).

Camilo Andres Urrego Acosta

En mi empresa se construyó un dashboard con Grafana, analizamos unos logs que sacamos de Cloudwatch (los ponemos ahí con un demonio que corre sobre unas instancias de ec2) pero también se podrían usar S3.

Esto permitió que después de aplicar algunos cambios a dichos logs podamos identificar con facilidad cuando un usuario realiza demasiadas solicitudes incorrectas o empieza a consumir un servicio más de la cuenta y notificarle de dichos errores para que corrija problemas en su aplicación antes de que el mismo se de cuenta de los mismos.

Además, podemos monitorear cómo se comporta en tiempo real cada servicio:

Cuántas solicitudes llegan por segundo.
Cuál es el tiempo de respuesta por servicio (Monitoreo de SLA)
Cuál es el cliente que consume más un servicio.
De todos los servicios: cuál es el cliente que más consumos hace => Clientes Paretto que llaman en mi empresa

Nicolás Mantilla

Hace un año

Que interesante, se vuelve todo un ecosistema

Que clase tan geniall!

Sergio Rubiano

Hace 5 años

Muy buen caso de uso.

Usuario anónimo

User

Lo usaria para analisis predictivo de uso de aplicativos de la empresa guardando el log de cada sistema en S3 y usando Macie o EMR para transformar la data en algo legible para su analistas.

jorge Cáceres

Hace 4 años

¿S3 que cuenta como uso del objeto? Me explico: Uno de los usos que quiero probar es como si fuera Dropbox, colocar archivos que solo veo muy poco, pero de pronto quiero ver como vista previa

al hacer clic en el archivo solo para ver la vista previa del objeto ¿AWS lo cuenta como que ingrese o....?

¿Qué me recomiendan?

Guillermo Granda

Tengo una pregunta. Si borro un objeto en S3, este se va a una especie de papelera por un tiempo o ya se elimina definitivamente?

Bryan Castano

Yo Usaria S3 para hacer un Sistema de BakcUps semanal de los archivos de mi Computadora SSD hacia mi Bucket S3 cada semana en una Tarea programado en una Script de Bash Shell con la connexion y llave de mi AWS CLI desde mi Terminal Local.

Jair Israel Avilés Eusebio

Un caso de uso de una marca de deportes es el que lleva su proceso de planeacion y distribucion de articulos deportivos por temporada a traves de sus diferentes canales logisticos por region.

Los planeadores llevan a cabo todo este proceso mediante el uso de formatos en calculo de excel el cual suben en un servicio desplegado en Docker en una EC2 y almacena los archivos Excel en S3 en una capa inteligente, el cual eventualmente al pasar las temporadas de años anteriores se mudan a un Glacier para su historial.

Javier Ricardo Becerra Bedoya

Usé S3 justamente para migrar una base de datos transaccional que tenía en RDS y almacené las tablas como archivos parquet usando glue jobs. Posteriormente, esos parquet files los convertía en datos estructurados y los procesaba en redshift para modelar los datos y que se sacaran insights de ahí.

Freddy Alcarazo

Hasta ahora ha hablado de un gobierno virtual que tiene muchas caracteristicas y funciones llamado AWS

Juan Sebastián Ricaurte Macías

Lo estamos usando para realizar Backups. Jenkins lo envía el S3. Y tenemos el ciclo de vida para que elimine la cada que se junten 5

Tony Gael

reto almacenamiento en S3, alguno quiere trabajar en equipo?

Bienvenida e Introducción

Opciones de Almacenamiento en AWS: Características y Casos de Uso

Diseño e Implementación de Arquitectura de Almacenamiento en AWS

Almacenamiento de objetos en AWS (S3)

Almacenamiento y Gestión de Objetos en AWS S3

Versionamiento de Archivos en S3: Control y Recuperación de Datos

Configuración de Sitios Web Estáticos en Amazon S3 y Route 53

Registro de Actividades en S3 con Integración a CloudTrail y CloudWatch

Transferencia Acelerada en AWS S3: Activación y Casos de Uso

Configuración y Uso de Eventos en S3 para Notificaciones y Monitoreo

Replicación de Objetos en S3 entre Regiones de AWS

Clases de storage en S3

Clases de Almacenamiento en Amazon S3: S3 Estándar y S3 IA

Uso eficiente de S3-IA para almacenamiento poco frecuente

Almacenamiento S3IA Única Zona: Uso y Consideraciones

Almacenamiento y Recuperación de Datos Históricos con Amazon Glacier

Gestión de Ciclo de Vida en Amazon S3 para Optimizar Costos y Almacenamiento

Estrategias de Migración de Datos a AWS S3

Casos de Uso Avanzados de S3 en AWS

Seguridad en S3.

Cifrado del Lado del Servidor en Amazon S3: Seguridad de Datos

Cifrado del lado del servidor con KMS en AWS

Encriptación en S3 con Llaves Propias del Usuario

Creación y uso de llaves KMS en AWS S3

Políticas de Seguridad en AWS S3: Control de Acceso y Permisos

Políticas de Seguridad en Amazon S3: Ejemplos y Configuración

Listas de Control de Acceso (ACLs) en Amazon S3: Seguridad y Configuración

Storage Gateway

Conexión Híbrida: Integración On-Premise con AWS Storage Gateway

Uso de File Gateway para Migración de Datos a AWS S3

Implementación de Virtual Tape Library en Amazon Glacier

Volume Gateway: Gestión de Volúmenes en la Nube y On-Premise

Sistema de archivos elástico (EFS)

Elastic File System (EFS) en AWS: Uso, Configuración y Beneficios

Casos de uso de EFS en arquitecturas escalables en AWS

Sistema de archivo por bloques (EBS)

Elastic Block Storage (EBS) en AWS: Uso y Características Clave

Tipos de EBS: GP2 y IO1 y sus usos recomendados

Tipos de Volúmenes EBS y sus Casos de Uso Específicos

Gestión de Snapshots y AMIs en AWS EBS

Creación y Gestión de Volúmenes EBS en Instancia Windows AWS

Creación y Gestión de Volúmenes EBS en Instancias Linux

Conclusiones

Tipos de Almacenamiento en AWS: S3, EBS y EFS

Opciones de Almacenamiento en AWS: S3, EBS, EFS y Seguridad

Casos de Uso Avanzados de S3 en AWS