Uso de Lambda en Arquitecturas de Big Data Real Time y Batch

Clase 34 de 52 • Curso de Big Data en AWS

Resumen

¿Cómo se utilizan las funciones Lambda en proyectos de Big Data?

Las funciones Lambda han demostrado su eficiencia y versatilidad en la gestión de datos a gran escala. En el siguiente contenido exploraremos cómo estas funciones se implementan en proyectos de Big Data para ofrecer capacidades de procesamiento en tiempo real y batch. Al comprender su funcionamiento, podrás transformar la manera en que gestionas y distribuyes datos en tus proyectos.

¿Cuál es el flujo de datos en tiempo real con Lambda?

En proyectos de Big Data, se puede establecer un sofisticado flujo de datos usando funciones Lambda. A través de CloudWatch, se genera un flujo de logs que activa una función Lambda de distribución. Esta función, también conocida como Lambda de Fan Out, recibe los eventos y los distribuye eficientemente a múltiples Lambdas que, a su vez, alimentan diferentes endpoints.

La distribución se realiza mediante SNS (Simple Notification Service), aunque también es posible utilizar SQS (Simple Queue Service).
Con SQS, hay que tener presente que un evento puede llegar más de una vez, por lo que es necesario manejar posibles duplicados.

Este flujo garantiza que, desde CloudWatch, los eventos son procesados y distribuidos hacia aplicaciones como Elasticsearch y Kibana, optimizando la gestión de índices y consultas.

¿Cómo se integran las Lambdas con bases de datos en memoria?

En ciertos escenarios, es esencial utilizar una base de datos en memoria, como Redis, para evitar la duplicación de eventos críticos al alimentar un endpoint. Para lograr esto:

Se coloca una Lambda en una VPC (Virtual Private Cloud) para acceder a Redis mediante un NAT Gateway.
La función Lambda consulta Redis para verificar si un evento ha sido procesado antes. Si no ha sido procesado, la Lambda procede con el procesamiento, asegurando la unicidad de eventos en el endpoint.

Esta implementación es crucial cuando se requiere que eventos únicos lleguen a un endpoint sin duplicaciones.

¿Cómo pueden reemplazar las Lambdas a un clúster de EMR?

Un clúster de Elastic MapReduce (EMR) puede ser sustituido por una orquestación de Lambdas y S3 para procesamiento batch, emulando funcionalidades de Map Reduce.

Las funciones Lambda pueden enviar eventos a S3, activando otras Lambdas para consolidar información.
Un Coordinador se encarga de organizar las tareas de reducción y consolidación.

Este enfoque ofrece una solución eficiente y escalable para procesos batch, eliminando la necesidad de mantener un clúster EMR dedicado.

Aplicaciones prácticas de las funciones Lambda

Las funciones Lambda son un pilar esencial en la arquitectura de Big Data, ya sea en tiempo real o para procesamiento batch. Su versatilidad permite su uso en:

Proyectos de análisis de datos en tiempo real, como la alimentación de Elasticsearch.
Procesamiento de datos batch, replicando funcionalidades de Map Reduce.
Integración con otros servicios en la nube, como Kinesis Firehose.

Incorporando Lambda en tu diseño arquitectónico, puedes optimizar tus procesos de Big Data, incrementando la eficiencia, reduciendo costos y mejorando la escalabilidad de tus operaciones. ¡Continúa aprendiendo y descubre todo lo que las funciones Lambda pueden ofrecerte en tus innovadores proyectos de datos!

john ct

student•

If you need to manage your own compute resources, Amazon Web Services also offers other compute services to meet your needs.

Amazon Elastic Compute Cloud (Amazon EC2) service offers flexibility and a wide range of EC2 instance types to choose from. It gives you the option to customize operating systems, network and security settings, and the entire software stack, but you are responsible for provisioning capacity, monitoring fleet health and performance, and using Availability Zones for fault tolerance.

Elastic Beanstalk offers an easy-to-use service for deploying and scaling applications onto Amazon EC2 in which you retain ownership and full control over the underlying EC2 instances.

john ct

student•

With Lambda, you can run code for virtually any type of application or backend service - all with zero administration. Just upload your code and Lambda takes care of everything required to run and scale your code with high availability. You can set up your code to automatically trigger from other AWS services or call it directly from any web or mobile app.

Ciencia de Datos - Masivian

student•

Hola, no entiendo en que caso se debería usar sns o en cual sqs si aca cada sns solo tiene un suscriptor?

Carlos Andrés Zambrano Barrera

teacher•

SQS es para colas, por ejemplo si conectas lambdas usando SQS y tienes un pico de demanda muy alto tu lambda no tendrá problemas porque los mensajes quedarán en la cola y la lambda los atenderá a medida que pueda. En cambio si usas SNS sería en tiempo real, si tienes el pico de usuarios tu lambda entraria en problemas (throttle).

Tambien puedes suscribir un SNS--> SQS que te permite flexibilidad si quieres agregarle más colas a un solo topic sns.

Andres Camilo Graciano Higuita

student•

Para garantizar la idempotencia de las funciones Lambda al manejar eventos duplicados provenientes de SQS, puedes implementar varias estrategias. Primero, utiliza un sistema de almacenamiento como DynamoDB o Redis para registrar los IDs de los eventos procesados. Antes de procesar un evento, verifica si su ID ya está en el almacenamiento; si es así, omite el procesamiento.

Además, puedes establecer un mecanismo de recuperación en caso de fallos, asegurando que, si se reenvía un evento, no se realicen acciones duplicadas. Configurar SQS con el modo FIFO también ayuda, ya que garantiza que los eventos se procesen en orden y solo una vez.

Esta combinación te permitirá manejar eventos duplicados con eficacia en arquitecturas de Big Data.

Mario Alexander Vargas Celis

student•

📌 Ejemplos de AWS Lambda en Diferentes Casos de Uso

A continuación, te muestro varios ejemplos de funciones AWS Lambda con distintos propósitos, utilizando Python.

1️⃣ Lambda Básico - "Hola Mundo"

Ejecuta una función básica que retorna un mensaje de respuesta.

import json

def lambda_handler(event, context): return { 'statusCode': 200, 'body': json.dumps('¡Hola desde AWS Lambda!') }

✅ Casos de uso: Pruebas básicas, despliegue inicial.

2️⃣ Procesando un Evento de S3

Esta función se activa cuando un archivo se sube a un bucket de S3.

import json import boto3

s3 = boto3.client('s3')

def lambda_handler(event, context): for record in event['Records']: bucket = record['s3']['bucket']['name'] key = record['s3']['object']['key'] print(f"Archivo subido: {bucket}/{key}")

return {"statusCode": 200, "body": json.dumps("Evento procesado")}

✅ Casos de uso: Procesamiento de archivos, notificaciones automáticas.

3️⃣ Guardar Datos en DynamoDB

Esta función recibe un evento, extrae datos y los guarda en DynamoDB.

import boto3 import json

dynamodb = boto3.resource('dynamodb') table = dynamodb.Table('MiTabla')

def lambda_handler(event, context): item = { 'id': event['id'], 'nombre': event['nombre'], 'edad': event['edad'] } table.put_item(Item=item) return {"statusCode": 200, "body": json.dumps("Datos guardados en DynamoDB")}

✅ Casos de uso: Registro de usuarios, almacenamiento de datos estructurados.

4️⃣ Enviar un Correo con SES (Simple Email Service)

Envía un email usando AWS SES.

import boto3

ses = boto3.client('ses')

def lambda_handler(event, context): response = ses.send_email( Source="tucorreo@example.com", Destination={'ToAddresses': ["destino@example.com"]}, Message={ 'Subject': {'Data': "Notificación desde AWS Lambda"}, 'Body': {'Text': {'Data': "Este es un correo de prueba"}} } ) return {"statusCode": 200, "body": "Correo enviado correctamente"}

✅ Casos de uso: Notificaciones automáticas, alertas.

5️⃣ Ejecutar un Query en Athena

Ejecuta una consulta en AWS Athena y retorna los resultados.

import boto3

athena = boto3.client('athena')

def lambda_handler(event, context): query = "SELECT * FROM mi_base.mi_tabla LIMIT 10;" response = athena.start_query_execution( QueryString=query, QueryExecutionContext={'Database': 'mi_base'}, ResultConfiguration={'OutputLocation': 's3://mi-bucket-athena/'} ) return {"statusCode": 200, "body": f"Query ejecutado: {response['QueryExecutionId']}"}

✅ Casos de uso: Análisis de datos, consultas sin servidores.

6️⃣ Conectando Lambda con API Gateway

Lambda puede servir como backend para API Gateway.

import json

def lambda_handler(event, context): response = { "statusCode": 200, "body": json.dumps({"mensaje": "¡Hola desde API Gateway y Lambda!"}) } return response

✅ Casos de uso: Creación de APIs sin servidores.

7️⃣ Detener Instancias de EC2

Esta función detiene todas las instancias EC2 en una región específica.

import boto3

ec2 = boto3.client('ec2')

def lambda_handler(event, context): instances = ec2.describe_instances(Filters=[{"Name": "instance-state-name", "Values": ["running"]}]) instance_ids = [inst['InstanceId'] for res in instances['Reservations'] for inst in res['Instances']] if instance_ids: ec2.stop_instances(InstanceIds=instance_ids) return {"statusCode": 200, "body": "Instancias detenidas"} else: return {"statusCode": 200, "body": "No hay instancias activas"}

✅ Casos de uso: Optimización de costos, apagado programado.

📌 Conclusión

AWS Lambda se puede usar para múltiples propósitos como: ✔ Automatización ✔ Procesamiento de eventos ✔ Creación de APIs ✔ Integración con otros servicios de AWS

Usuario anónimo

user•

Buen dato

Usuario anónimo

user•

gracias

Usuario anónimo

user•

genial