Kinesis, EMR, Glue

Curso de AWS Certified Solutions Architect Associate

Contenido del curso

Fundamentos de AWS

Identidad, Acceso y Gobernanza Multicuenta

Servicios de Computo en AWS

Contenedores en AWS

Redes en AWS

Escalamiento y balanceo en AWS

Almacenamiento en AWS

Bases de datos en AWS

Migración en AWS

Monitoreo y Auditoria en AWS

DNS y CDN en AWS

Servicios de Seguridad

Serverless

Servicios de Datos en AWS

Servicios de AI y ML em AWS

64
Servicios de IA y ML en AWS
04:09 min

Servicios de Backup y Recuperación ante desastres

Architect Solutions Certificate

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0015:33

Kinesis, EMR, Glue

Curso de AWS Certified Solutions Architect Associate

Clase 62 de 69

Clase 62 / 69

Recursos

La ingeniería de datos en la nube ha revolucionado la forma en que las empresas manejan flujos masivos de información. AWS ofrece un conjunto robusto de servicios diseñados específicamente para el procesamiento de datos en tiempo real e históricos, permitiendo a las organizaciones detectar fraudes, realizar análisis complejos y tomar decisiones basadas en datos con una velocidad y eficiencia sin precedentes. En este contenido, exploraremos los principales servicios de AWS para el manejo de flujos de datos en tiempo real y procesamiento de big data.

¿Cómo funciona Amazon Kinesis para el procesamiento de datos en tiempo real?

Amazon Kinesis representa la solución principal de AWS para la gestión de flujos de datos en tiempo real. Este servicio permite recolectar, procesar y analizar datos de streaming con capacidad para manejar volúmenes masivos de información. Kinesis se divide en varios subservicios que cumplen funciones específicas dentro del ecosistema de procesamiento de datos:

Kinesis Data Streams

Kinesis Data Streams es el componente fundamental que permite la recolección de gigabytes de datos por segundo desde múltiples fuentes. Este servicio está diseñado para recibir datos masivos y redireccionarlos a otras herramientas de procesamiento como AWS Lambda, Apache Flink y otros servicios de análisis.

Para crear un Data Stream:

Seleccionamos el nombre del stream (por ejemplo, "test")
Elegimos el tipo de capacidad:
- Bajo demanda: Escala automáticamente según el volumen de datos
- Provisionado: Configuramos una capacidad fija basada en un estimado conocido

Es importante notar que los datos en Data Streams se almacenan por defecto durante 24 horas, ya que su función principal es transportar datos hacia otros servicios para su procesamiento, no almacenarlos permanentemente.

La arquitectura de Kinesis Data Streams se basa en:

Productores: Generan los datos que fluyen hacia el stream (aplicaciones, servidores, dispositivos)
Consumidores: Procesan los datos del stream (puede ser Apache Flink, Data Firehose u otros servicios personalizados)

Amazon Data Firehose (anteriormente Kinesis Data Firehose)

Este servicio administrado permite entregar datos de streaming en tiempo real a destinos específicos. Después de que Kinesis Data Streams recolecta los datos, Firehose los puede redirigir en lotes a servicios como:

Amazon S3
Amazon Redshift
Amazon OpenSearch
Servicios de terceros como Datadog, Elasticsearch, Honeycomb
Endpoints HTTP personalizados
Snowflake
Splunk

Al configurar Data Firehose, podemos:

Seleccionar la fuente de datos (como un Data Stream)
Elegir un destino para los datos
Configurar transformaciones de datos (opcional) usando Lambda
Establecer parámetros de entrega y configuraciones adicionales

Entre las capacidades importantes de Firehose están:

Transformación de datos en tránsito mediante funciones Lambda
Monitoreo en tiempo real a través de CloudWatch
Opciones de respaldo para evitar pérdida de datos
Cifrado del lado del servidor mediante KMS
Funcionalidades de prueba con datos demo

Amazon Managed Service for Apache Flink

Este servicio ofrece una versión administrada de Apache Flink, una solución open source ampliamente utilizada para el procesamiento de streams de datos. La ventaja principal es que AWS administra la infraestructura, eliminando la necesidad de mantener servidores, actualizaciones y configuraciones complejas.

Es particularmente útil para empresas que ya utilizaban Apache Flink en sus entornos on-premise y desean migrar a la nube sin rediseñar completamente sus arquitecturas existentes.

¿Qué capacidades ofrece Amazon EMR para el procesamiento de big data?

Amazon EMR (Elastic MapReduce) es un servicio poderoso diseñado para ejecutar aplicaciones de procesamiento de big data. Sus principales características incluyen:

Procesamiento ETL a gran escala para transformar grandes volúmenes de datos
Análisis de logs masivos
Implementación de workflows de machine learning
Indexación y búsqueda de datos

EMR puede configurarse de tres formas:

Cluster basado en instancias EC2
Cluster en EKS (Elastic Kubernetes Service)
Versión serverless que elimina la necesidad de configurar y escalar manualmente

Al crear un cluster EMR basado en EC2, podemos:

Seleccionar la versión de EMR
Elegir frameworks de big data preconfigurados como Spark, Flink, Hadoop, HBase o Presto
Configurar tipos de instancias optimizadas para big data
Estructurar el cluster con diferentes tipos de nodos:
- Nodo maestro: Orquesta el cluster
- Nodos core: Dirigen las tareas
- Nodos task: Ejecutan el procesamiento real de los datos

EMR se integra perfectamente con otros servicios de AWS como S3 para almacenamiento de datos, Glue para catálogos de metadatos, y diversos servicios de seguridad y redes.

¿Cómo complementa AWS Glue el ecosistema de procesamiento de datos?

AWS Glue representa la solución serverless para procesamiento ETL de AWS. Este servicio permite:

Crear y ejecutar jobs ETL sin preocuparse por la infraestructura subyacente
Utilizar notebooks interactivos basados en Python y Spark para desarrollar procesos de transformación
Aprovechar bibliotecas populares como Pandas para manipulación de datos

Glue se integra estrechamente con los demás servicios del ecosistema de datos de AWS, ofreciendo una experiencia más orientada al desarrollo y menos a la administración de infraestructura.

¿Cómo elegir la solución adecuada para detección de fraude en tiempo real?

Considerando el caso de uso inicial sobre una empresa que necesita detectar fraude en tiempo casi real y ejecutar análisis históricos diarios, la arquitectura ideal combinaría:

Kinesis Data Streams: Para ingerir y procesar eventos en milisegundos, permitiendo el bloqueo de transacciones fraudulentas en tiempo real.
Amazon Data Firehose: Para entregar los datos a un bucket S3, almacenándolos en formato columnar y particionado.
AWS Lambda: Conectada a Kinesis Data Streams para ejecutar algoritmos de detección de fraude en tiempo real.
Amazon S3: Como almacenamiento persistente de datos en crudo.
Amazon EMR o AWS Glue: Para ejecutar análisis históricos diarios sobre los datos almacenados.

Esta arquitectura permite cumplir con todos los requisitos: procesamiento en milisegundos, almacenamiento en S3 en formato columnar y particionado, y mínima administración de infraestructura gracias al enfoque serverless o administrado de los servicios.

Los servicios de manejo de datos en tiempo real de AWS ofrecen soluciones robustas y flexibles para arquitecturas modernas que requieren respuestas inmediatas y análisis profundos. La combinación adecuada de estos servicios permite diseñar sistemas que satisfacen tanto necesidades operativas como analíticas con un equilibrio óptimo entre rendimiento y costo.

¿Qué experiencia tienes con estos servicios de AWS para el procesamiento de datos en tiempo real? ¿Has implementado alguna arquitectura similar para casos de uso de detección de fraude u otros escenarios que requieran respuestas inmediatas? Comparte tus experiencias en los comentarios.

Resumen

¿Cómo funciona Amazon Kinesis para el procesamiento de datos en tiempo real?

Kinesis Data Streams

Para crear un Data Stream:

Seleccionamos el nombre del stream (por ejemplo, "test")
Elegimos el tipo de capacidad:
- Bajo demanda: Escala automáticamente según el volumen de datos
- Provisionado: Configuramos una capacidad fija basada en un estimado conocido

La arquitectura de Kinesis Data Streams se basa en:

Productores: Generan los datos que fluyen hacia el stream (aplicaciones, servidores, dispositivos)
Consumidores: Procesan los datos del stream (puede ser Apache Flink, Data Firehose u otros servicios personalizados)

Amazon Data Firehose (anteriormente Kinesis Data Firehose)

Amazon S3
Amazon Redshift
Amazon OpenSearch
Servicios de terceros como Datadog, Elasticsearch, Honeycomb
Endpoints HTTP personalizados
Snowflake
Splunk

Al configurar Data Firehose, podemos:

Seleccionar la fuente de datos (como un Data Stream)
Elegir un destino para los datos
Configurar transformaciones de datos (opcional) usando Lambda
Establecer parámetros de entrega y configuraciones adicionales

Entre las capacidades importantes de Firehose están:

Transformación de datos en tránsito mediante funciones Lambda
Monitoreo en tiempo real a través de CloudWatch
Opciones de respaldo para evitar pérdida de datos
Cifrado del lado del servidor mediante KMS
Funcionalidades de prueba con datos demo

Amazon Managed Service for Apache Flink

Es particularmente útil para empresas que ya utilizaban Apache Flink en sus entornos on-premise y desean migrar a la nube sin rediseñar completamente sus arquitecturas existentes.

¿Qué capacidades ofrece Amazon EMR para el procesamiento de big data?

Amazon EMR (Elastic MapReduce) es un servicio poderoso diseñado para ejecutar aplicaciones de procesamiento de big data. Sus principales características incluyen:

Procesamiento ETL a gran escala para transformar grandes volúmenes de datos
Análisis de logs masivos
Implementación de workflows de machine learning
Indexación y búsqueda de datos

EMR puede configurarse de tres formas:

Cluster basado en instancias EC2
Cluster en EKS (Elastic Kubernetes Service)
Versión serverless que elimina la necesidad de configurar y escalar manualmente

Al crear un cluster EMR basado en EC2, podemos:

Seleccionar la versión de EMR
Elegir frameworks de big data preconfigurados como Spark, Flink, Hadoop, HBase o Presto
Configurar tipos de instancias optimizadas para big data
Estructurar el cluster con diferentes tipos de nodos:
- Nodo maestro: Orquesta el cluster
- Nodos core: Dirigen las tareas
- Nodos task: Ejecutan el procesamiento real de los datos

EMR se integra perfectamente con otros servicios de AWS como S3 para almacenamiento de datos, Glue para catálogos de metadatos, y diversos servicios de seguridad y redes.

¿Cómo complementa AWS Glue el ecosistema de procesamiento de datos?

AWS Glue representa la solución serverless para procesamiento ETL de AWS. Este servicio permite:

Crear y ejecutar jobs ETL sin preocuparse por la infraestructura subyacente
Utilizar notebooks interactivos basados en Python y Spark para desarrollar procesos de transformación
Aprovechar bibliotecas populares como Pandas para manipulación de datos

Glue se integra estrechamente con los demás servicios del ecosistema de datos de AWS, ofreciendo una experiencia más orientada al desarrollo y menos a la administración de infraestructura.

¿Cómo elegir la solución adecuada para detección de fraude en tiempo real?

Considerando el caso de uso inicial sobre una empresa que necesita detectar fraude en tiempo casi real y ejecutar análisis históricos diarios, la arquitectura ideal combinaría:

Kinesis Data Streams: Para ingerir y procesar eventos en milisegundos, permitiendo el bloqueo de transacciones fraudulentas en tiempo real.
Amazon Data Firehose: Para entregar los datos a un bucket S3, almacenándolos en formato columnar y particionado.
AWS Lambda: Conectada a Kinesis Data Streams para ejecutar algoritmos de detección de fraude en tiempo real.
Amazon S3: Como almacenamiento persistente de datos en crudo.
Amazon EMR o AWS Glue: Para ejecutar análisis históricos diarios sobre los datos almacenados.

Comentarios (2)2 comentarios

Daniken Espinoza

Hace 10 meses

Con todo respeto, la Clase tiene como titulo Kinesis, EMR, Glue, y habla de Glue menos de un minuto sin explicar nada, Este es uno de los pocos cursos que he abandonado y solo entré para validar algo de Glue pero no me dio nada de información.

Hector Diaz

Hace 6 meses

Tuve el mismo sentimiento, quería entender con fundamentos sólidos pero no encontré nada de eso

Miguel Angel Reyes Moreno

Distintas respuestas similares chat gpt, gemini, cluade y deepseek:

Usaría Kinesis Data Streams para ingestión de baja latencia + Lambda (o Kinesis Data Analytics) para la detección y bloqueo en milisegundos, y Kinesis Data Firehose (con conversión a Parquet y particionado dinámico) para escribir crudo y resultados en S3, complementado con Glue/Athena para análisis históricos — todo ello con DynamoDB opcional para lookups rápidos; así se minimiza la administración y se cumple latencia y requisitos de almacenamiento.

Ingesta (Entrada): Los eventos de transacciones se envían a un Amazon Kinesis Data Stream.
Hot Path (Detección en ms): Una función AWS Lambda consume el Kinesis Data Stream. Lambda puede procesar los registros en milisegundos y ejecutar la lógica de bloqueo de fraude inmediatamente.
Cold Path (Almacenamiento/Histórico): Un Amazon Kinesis Data Firehose está configurado para leer del mismo Kinesis Data Stream.
Transformación y Carga: Configuras el Kinesis Data Firehose para convertir el formato de los datos (de JSON a Parquet u ORC) y entregarlos en el bucket de Amazon S3 particionado por fecha.

La arquitectura correcta para este caso sería: Amazon Kinesis Data Streams + AWS Lambda para procesamiento en tiempo real + Amazon Kinesis Data Firehose con conversión a formato Parquet hacia S3.

Kinesis Data Streams garantiza ingesta de eventos en milisegundos y escalabilidad automática.
Kinesis Data Analytics (Flink) permite procesamiento complejo con estado (ej. agregaciones en ventanas) sin administrar infraestructura.
Kinesis Data Firehose maneja la entrega a S3 en formato optimizado (Parquet) con particionado, minimizando costos de almacenamiento y mejorando el rendimiento de consultas históricas.
Servicios completamente administrados reducen la carga operacional.

Fundamentos de AWS

Certificación AWS Solutions Architect Associate: Fundamentos y Preparación

Preparación para certificación AWS Arquitecto de Soluciones

Configuración de presupuestos en AWS para controlar costos

Los 6 pilares del Well-Architected Framework

Identidad, Acceso y Gobernanza Multicuenta

Cómo evitar brechas de seguridad con IAM

Creación de usuarios administrador y practicante en AWS IAM

Gestión de cuentas con AWS Organizations

Detecta recursos AWS expuestos con Access Analyzer

Cómo gestionar múltiples cuentas AWS

Servicios de Computo en AWS

Servicios de cómputo AWS: EC2, procesadores Graviton y AMIs

Compute Savings Plan para EC2 y Lambda

Cómo lanzar tu primera instancia EC2

Optimizar latencia en EC2 con tenencia dedicada

Cómo consultar metadatos de EC2 con IMDSv2

AWS Outposts: ejecutar AWS en tu data center

Despliegue de app web en Elastic Beanstalk

Contenedores en AWS

Contenedores en AWS: ECS, EKS y ECR

Gestión de imágenes de contenedores con ECR y Fargate

Configuración de clusters, tareas y servicios en Amazon ECS

Redes en AWS

Direccionamiento IP y bloques CIDR para redes AWS

NAT Gateway para subredes privadas en AWS

Configuración de instancias públicas y privadas con NAT Gateway

NACL y Security Groups en AWS

Cómo reparar un Security Group en EC2

Conectividad híbrida en AWS: VPC Peering, Transit Gateway y Endpoints

Escalamiento y balanceo en AWS

Tipos de balanceadores de carga en AWS

Configuración de balanceadores de carga en AWS para alta disponibilidad

Autoescalamiento en EC2 con Auto Scaling Groups

Cómo crear un Auto Scaling Group en EC2

Almacenamiento en AWS

Tipos de almacenamiento en AWS: EBS, EFS y S3

Instance Store vs EBS en AWS

EFS vs FSx para compartir archivos en AWS

Creación y configuración de volúmenes EBS en AWS

Transfer Acceleration para datos globales en S3

Configuración de EFS para compartir almacenamiento entre instancias

Recuperar objetos borrados en Amazon S3

Bases de datos en AWS

Bases de datos relacionales vs no relacionales en AWS

Cómo funciona DynamoDB en AWS

Creación y configuración de bases de datos Dynamo en AWS

Elasticache y DAX

RDS vs Aurora: réplicas y alta disponibilidad

Cómo configurar Aurora con alta disponibilidad en RDS

Migración en AWS

Estrategias de migración AWS: las 6 R para trasladar aplicaciones

Cómo migramos 500 TB a AWS sin downtime

Migración de datos con AWS Snow Family: opciones y características

DMS y SCT para migrar bases de datos en AWS

Monitoreo y Auditoria en AWS

CloudTrail y EventBridge en arquitecturas AWS

Monitoreo de AWS con CloudWatch

DNS y CDN en AWS

Zonas locales y de borde en AWS

CloudFront vs Global Accelerator en AWS

Failover en Route 53 para arquitectura activo-pasiva

Configuración de políticas de geoproximidad en AWS Route 53

Servicios de Seguridad

KMS vs CloudHSM para datos regulados

AWS Shield y WAF contra ataques DDoS

Servicios AWS para detectar vulnerabilidades

GuardDuty y Trusted Advisor para detectar amenazas en AWS

Serverless

API Gateway y Lambda en arquitecturas serverless

Creación y configuración de funciones Lambda para automatización

AWS SQS: Tipos de filas y configuración para arquitecturas serverless

AWS SNS y Step Functions para comunicación y workflows visuales

Servicios de Datos en AWS

Servicios de datos en AWS para tu examen

Kinesis, EMR, Glue

Casos de uso de Amazon Redshift en AWS

Servicios de AI y ML em AWS

Servicios de IA y ML en AWS

Servicios de Backup y Recuperación ante desastres