Procesamiento de Datos con EMR en AWS

EMR = Elastic Map Reduce.

Cuando hablemos de EMR, pensemos en un clúster en el cual podemos correr cargas de trabajo muy grandes; es obvio que al ser un clúster tendremos unas instancias dedicadas, mayor administración sobre nuestro clúster y mayor flexibilidad.

EMR es un servicio que nos permite crear clústers que por detrás serán instancias EC2 basadas en Hadoop; en estos clústers podremos ejecutar diferentes cargas de trabajo. Estas cargas de trabajo pueden ser MapReduce, Spark, Pig, Presto, Hive, Impala, Flink, TensorFlow, Zeppelin, diferentes y muchas alternativas de Open Source pueden correr en estos proyectos, y cuando configuremos el clúster podremos seleccionar cuáles de ellos necesitamos.

Este servicio nos provee integraciones con diferentes servicios de AWS como S3, RedShift, DynamoDB y Kinesis.

En el clúster desplegado por este servicio, podemos correr cualquier tipo de tareas basadas en Spark; es decir, podríamos correr los ETLs que hacemos en Glue, pero cambiarían algunas cosas en la configuración debido a que Glue utiliza dynamic frames (son más propios de AWS para manejar Glue) mientras que EMR usa otro concepto que es data frames que es más propio de Spark. Habiendo dicho esto, podríamos también hacer aquí transformaciones, y podríamos conectarnos a Notebooks para consultar nuestra información desde EMR.

Conceptos

• Bootstrap actions: Al momento de desplegar el clúster, podemos especificar ciertas acciones que necesitemos que se ejecuten al inicio; acciones como ejecuciones de scripts particulares, cambiar los puertos de conexión, o agregarle configuraciones muy personalizadas al clúster. Estas tareas se ejecutan antes de que el clúster esté completamente productivo.
• Steps: Nos permiten ejecutar nuestras cargas de trabajo en los clústers de EMR de forma ordenada.
• Clúster: Está compuesto de un Master Node, quien orquestará a los otros Nodes; Core Nodes que se encargan de distribuir la información cuando usamos un sistema de archivos como HDFS (Sistema de archivos distribuido), y Task Nodes que son los encargados del procesamiento.
  <imagen>

Recomendaciones

• A nivel de instancias, utilizar instancias tipo Spot para los Core Nodes y los Task Nodes.
• El Master Node no debe ser desplegado en una instancia Spot.

Es así como EMR es un servicio muy importante donde podemos correr cargas de trabajo gigantescas, porque tenemos la libertad de crear las instancias, elegir el tipo y la cantidad.

En situaciones como que en Glue hay un límite de 100 DPUs, pero nuestro job es muy grande, AWS recomienda dividir nuestro job en jobs más pequeños para no consumir tantas DPUs o trabajar con EMR en donde tenemos más capacidad pero nuestra carga de información y nuestra carga administrativa aumentará.

### **AWS EMR (Elastic MapReduce)** AWS **Elastic MapReduce (EMR)** es un servicio en la nube que facilita el procesamiento de **grandes volúmenes de datos** utilizando **frameworks de Big Data** como **Apache Spark, Hadoop, Hive, Presto, HBase y Flink**. Se usa principalmente para análisis de datos, machine learning y procesamiento ETL. ## **🚀 Características clave de AWS EMR** 1. **Escalabilidad automática**: Ajusta la capacidad de los clusters según la demanda. 2. **Soporte para múltiples frameworks**: Hadoop, Spark, Hive, Presto, Flink, etc. 3. **Integración con AWS**: Se conecta fácilmente con S3, RDS, DynamoDB, Redshift y otros servicios. 4. **Administración simplificada**: AWS gestiona la configuración y el mantenimiento de los clusters. 5. **Pago por uso**: Paga solo por los recursos utilizados. ## **📌 Arquitectura de EMR** Un clúster de EMR está compuesto por **tres tipos de nodos**: 1. **Master Node**: Controla la ejecución del clúster y distribuye tareas. 2. **Core Nodes**: Procesan los datos y almacenan información en HDFS. 3. **Task Nodes** *(opcional)*: Solo ejecutan tareas sin almacenar datos. ## **💻 Pasos para crear un clúster EMR en AWS** ### **1️⃣ Configuración inicial** * Ve a la **consola de AWS** y busca **Amazon EMR**. * Haz clic en **"Create cluster"**. ### **2️⃣ Elegir un método de despliegue** * **EMR on EC2**: Cluster en instancias EC2. * **EMR on EKS**: Cluster gestionado en Kubernetes. * **EMR Serverless**: Ejecución sin necesidad de administrar servidores. ### **3️⃣ Configurar el clúster** * **Nombre del clúster**: Ej. `mi-cluster-emr`. * **Versión de EMR**: Ej. `6.9.0` (con Apache Spark, Hadoop, etc.). * **Aplicaciones**: Selecciona los frameworks que necesitas (Spark, Hive, HBase, Presto, etc.). * **Tipo de instancias EC2**: Ej. `m5.xlarge` (depende de la carga de trabajo). * **Cantidad de nodos**: * 1 Master Node * 2+ Core Nodes (según el tamaño del clúster) ### **4️⃣ Configurar almacenamiento** * **S3**: Para almacenar los datos de entrada y salida. * **HDFS**: Sistema de archivos distribuido dentro del clúster. ### **5️⃣ Configurar networking** * Selecciona la **VPC**, **subred** y **grupo de seguridad**. ### **6️⃣ Opciones avanzadas** * **Auto-terminación**: Configura si el clúster debe apagarse tras completar la tarea. * **Spot Instances**: Reduce costos usando instancias Spot. * **IAM Roles**: Define permisos para acceder a S3, Glue, DynamoDB, etc. ### **7️⃣ Lanzar el clúster** * Revisa la configuración y haz clic en **"Create cluster"**. ## **📊 Ejecutar trabajos en EMR** ### **1️⃣ Desde la consola AWS** * Ve a **Clusters EMR** > **Actions** > **Submit Step**. * Elige el tipo de trabajo (`Spark`, `Hive`, `Hadoop`, etc.). * Sube el código o referencia un archivo en **S3**. ### **2️⃣ Desde AWS CLI** Ejecutar un script PySpark en EMR: aws emr add-steps --cluster-id j-XXXX \\ \--steps Type=Spark,Name="MySparkJob",ActionOnFailure=CONTINUE,Args=\[--deploy-mode,client,--master,yarn,s3://mi-bucket/scripts/job.py] ### **3️⃣ Con Jupyter Notebook en EMR** * Activa **EMR Notebooks** para ejecutar código interactivo en un **Notebook Jupyter**. ## **🛠 Integraciones con otros servicios de AWS** ✅ **S3**: Almacenamiento de datos de entrada y salida. ✅ **Glue**: Catálogo de datos y transformación ETL. ✅ **Athena**: Consulta de datos sin servidores en S3. ✅ **Redshift**: Integración con data warehouses. ✅ **CloudWatch**: Monitoreo y logs del clúster. ## **📌 Casos de uso de EMR** ✅ **Análisis de datos masivos**: Logs, sensores IoT, datos de redes sociales. ✅ **ETL**: Extracción, transformación y carga de grandes volúmenes de datos. ✅ **Machine Learning**: Entrenamiento de modelos con Spark MLlib. ✅ **Procesamiento en tiempo real**: Con Apache Flink o Spark Streaming. ## **💰 Costos de AWS EMR** * Basado en **pago por hora** según el tipo de instancia EC2 y el número de nodos. * Puedes ahorrar usando **Spot Instances** o **EMR Serverless**. 💡 **Simula los costos en la calculadora de AWS**: [🔗 AWS Pricing Calculator](https://calculator.aws/#/) ## **🎯 Conclusión** AWS EMR es una **solución poderosa y escalable** para procesar **Big Data** en la nube con **Spark, Hadoop y otros frameworks**. Su facilidad de integración con S3, Glue, Redshift y otros servicios lo hace ideal para empresas que manejan grandes volúmenes de información.