Arquitectura capa: el tiempo real como ventaja
Clase 7 de 52 • Curso de Big Data en AWS
Contenido del curso
Arquitecturas
Extracción de información
- 9

Cómo mover datos a cloud con SDK y CLI
02:21 min - 10

Python y boto3 para listar buckets S3
10:16 min - 11

Boto3: inicializar clients de AWS en Python
03:56 min - 12

API Gateway como puerta de big data
03:40 min - 13

Storage Gateway: puerta entre on-premise y S3
03:13 min - 14

AWS Kinesis: streaming masivo de datos
05:53 min - 15

Cómo crear Kinesis Data Stream en AWS
06:50 min - 16

Despliegue automatizado de Kinesis con CloudFormation
10:42 min - 17

Cómo Kinesis Firehose entrega datos en tiempo real
03:27 min - 18

Configuración de Kinesis Firehose en AWS
05:45 min - 19
Configuración Básica de Amazon Kinesis Firehose en AWS
02:53 min - 20

MSK vs Kinesis: cuál elegir en AWS
03:42 min - 21

Creación de clúster AWS MSK desde la consola
07:21 min
Transformación de Información
- 22

Cómo AWS Glue transforma datos en la nube
06:33 min - 23

Instalación de Apache Zeppelin paso a paso
04:49 min - 24

Configurar developer endpoint de AWS Glue con Zeppelin
05:38 min - 25

Conexión de Apache Zeppelin con AWS
08:29 min - 26

Configurar AWS Glue Crawler para poblar catálogo
08:15 min - 27

Configuración de Developer Endpoint en AWS Glue
08:00 min - 28

Cómo configurar AWS Glue ETL desde S3 a Parquet
10:23 min - 29

Qué es EMR y cuándo usarlo
05:30 min - 30

Crear tu primer cluster de AWS EMR
09:01 min - 31

Conectar Apache Zeppelin a EMR
03:18 min - 32

EMR automatizado con CloudFormation
06:32 min - 33

AWS Lambda para proyectos de big data
07:02 min - 34

Lambdas en big data: real time y batch
04:54 min - 35

Configuración de AWS Lambda para Big Data
07:16 min
Carga de Información
Consumo de información
Seguridad, Orquestación y Automatización
Clase pública
La arquitectura capa concentra el procesamiento en tiempo real para simplificar decisiones y obtener visibilidad instantánea del comportamiento de usuarios. Presentada por Jake Krebsen en 2014 como evolución de la arquitectura lambda, elimina la capa de batch y trabaja con un único flujo de datos en stream para reprocesar y actuar con rapidez.
¿Qué define la arquitectura capa y cómo evoluciona la lambda?
Esta propuesta quita la capa de batch y lleva todo a tiempo real. La información se maneja como origen no modificado, circula por un único flujo de procesamiento y permite reprocesar para usar información anterior al decidir. Así, se concentra el valor en servicios de stream sin la complejidad añadida del batch de lambda.
- Todo se maneja como stream con datos origen no modificados.
- Un único flujo de procesamiento en tiempo real.
- Reprocesamiento para usar información anterior y tomar decisiones.
- Sin capa de batch como en lambda.
¿Cómo se implementa el flujo de tiempo real y la capa de servicio?
El diseño parte de un origen de datos de data streaming. A medida que llegan los eventos, una capa de tiempo real los procesa mediante servicios de stream, considerando almacenamiento y cómo se orquesta el procesamiento. Después, los resultados pasan a una capa de servicio con integración a endpoints, servicios y visualización.
- Origen de datos: data streaming que ingresa continuamente.
- Capa de tiempo real: procesamiento con servicios de stream.
- Consideraciones de almacenamiento: cómo y dónde se guarda lo procesado.
- Capa de servicio: conexión a endpoints, servicios y visualización.
- Elección en el cloud provider: servicios para streams frente a opciones de batch.
En nubes públicas cambia la selección de servicios: esta arquitectura se fundamenta en procesamiento en tiempo real, por lo que se priorizan herramientas de stream frente a las de batch.
¿Qué caso de uso demuestra el valor en crecimiento y decisiones?
Imagina una aplicación con diez mil usuarios y una campaña de referidos o de marketing. Con una capa de tiempo real puedes monitorear en un dashboard cuántos se suman, cuántos llegan por referidos y cuántos cobran el bono. Si la campaña no avanza como esperas, ajustas de inmediato: haces la campaña más agresiva o aumentas el premio en el momento.
- Visibilidad en tiempo real del crecimiento de usuarios.
- Métricas de referidos y bonos en un dashboard.
- Toma de decisiones rápida basada en comportamiento actual.
- Acciones inmediatas: modificar campaña o incrementar el bono.
Estas capacidades muestran dónde la arquitectura capa aporta valor: decisiones veloces, visibilidad continua y reprocesamiento cuando necesitas incorporar información previa sin mantener una capa de batch. Si te interesa profundizar en tus propios casos de uso, comenta qué métricas de usuarios quisieras ver en tiempo real y cómo te ayudarían a decidir.