Clase 27 de 52 • Curso de Big Data en AWS
Contenido del curso
Big Data en la Nube: Análisis, Transformación y Seguridad
Transformación de Datos en Cloud: Automatización y Seguridad
Big Data en la Nube: Escalabilidad, Automatización y Eficiencia
Almacenamiento y Procesamiento de Datos en la Nube
Comparativa de AWS y GCP para proyectos BigData
Extracción de Datos a la Nube: Estrategias y Herramientas
Uso de Python y AWS Cloud9 para Proyectos de Big Data
Uso de Boto3 para Servicios AWS en Python
Integración de AWS API Gateway en Proyectos de Big Data
Uso de Storage Gateway para Integración de Datos en la Nube
Procesamiento de Datos en Tiempo Real con AWS Kinesis Data Stream
Creación de Kinesis Data Streams en AWS
Despliegue de Kinesis con AWS CloudFormation
Entrega y Transformación de Datos con Kinesis Firehose en AWS
Configuración de Kinesis Firehose en AWS paso a paso
Configuración Básica de Amazon Kinesis Firehose en AWS
AWS MSK: Implementación y Gestión de Apache Kafka en la Nube
Despliegue de Clúster MSK en AWS paso a paso
Transformación de Datos con AWS Glue: ETL y Catálogo de Metadatos
Instalación y Configuración de Apache Zeppelin para AWS Glue
Configuración de Developer Endpoint en AWS Glue para Apache Zeppelin
Conexión y configuración de Apache Zeppelin para ETL en AWS
Creación de un ETL con AWS Glue: Crawlers y Catalogación de Datos
Configuración y Ejecución de ETL en AWS Glue paso a paso
Creación y Ejecución de ETL con AWS Glue y S3
Procesamiento de Datos con EMR en AWS
Creación de un clúster EMR en AWS paso a paso
Conexión y Configuración de Zeppelin en Clúster EMR
Automatización de Clústeres EMR con Plantillas de CloudFormation
AWS Lambda en Proyectos de Big Data en Tiempo Real
Uso de Lambda en Arquitecturas de Big Data Real Time y Batch
Configuración de Funciones Lambda para Big Data en AWS
Consultas SQL en Big Data con AWS Athena y S3
Consultas SQL en S3 con AWS Athena y Glue Catalog
AWS Redshift: Almacenamiento y Análisis de Datos Masivos
Configuración de Amazon Redshift en AWS paso a paso
Lake Formation: Automatización y Seguridad en Gestión de Data Lakes
Seguridad en Big Data con AWS: Cifrado, Permisos y Monitoreo
Seguridad de Datos en AWS con Amazon Macie
Habilitación y Configuración de AWS Macie para Gestión de Datos Seguros
Orquestación de ETLs con Apache Airflow y Python en Big Data
Despliegue y Orquestación de Tareas con Google Cloud Composer
Arquitecturas de Big Data en Cloud: Batch y Tiempo Real
Amazon Glue es un servicio de ETL (extracción, transformación y carga) totalmente administrado que permite a los usuarios preparar y cargar sus datos para análisis. A lo largo de este artículo, exploraremos un escenario práctico sobre cómo configurar un entorno de desarrollo, verificar conexiones y ejecutar tareas de transformación en AWS Glue. Aquí vamos.
En este caso, el primer paso es asegurarse de que su entorno de desarrollo esté correctamente conectado. Para lograrlo, debemos establecer un túnel SSH al endpoint de desarrollo. Estos son los pasos básicos:
Configurar el túnel SSH: Utilice la llave privada y el endpoint de desarrollo proporcionado por AWS Glue. Abra la consola, seleccione el endpoint de desarrollo y copie el comando para iniciar el túnel. Asegúrese de que la llave privada esté disponible y ejecútelo.
Verificar la conexión desde Zeppelin: Una vez configurado el túnel, es crucial verificar que tienes sincronización con los datos almacenados en S3. Actualiza tu instancia de Zeppelin y confirma que está conectada con S3.
El siguiente paso después de la configuración del entorno de desarrollo es crear el contexto de Glue, el cual establece la conexión y carga las librerías necesarias para la ejecución de las tareas ETL. Aquí te explicamos cómo hacerlo:
Crear el Glue Context: Copia el comando para crear el Glue Context desde los ejemplos proporcionados en los enlaces del curso. Ve a tu interfaz de Zeppelin, pega la información y ejecútala.
Crear un Dynamic Frame: Con el Glue Context en marcha, el siguiente comando es crear un Dynamic Frame, que permitirá identificar y manipular los datos desde la base de datos PlatziDB y la tabla 'persons-json'. Esto implica realizar la conexión al catálogo Glue y verificar la cantidad de registros disponibles y su esquema.
Mientras se ejecutan comandos, es posible que te encuentres con errores. A continuación te mostramos cómo abordarlos:
Agregar comandos que faltan: Si un comando no se ejecuta correctamente, verifica que todas las librerías necesarias estén importadas. Puedes crear un nuevo bloque en Zeppelin donde especifiques que estás trabajando con PySpark y luego ejecutar el comando completo con todas las librerías.
Usar la consola SSH para debugging: Si los errores persisten, puedes intentar conectarte a PySpark a través de SSH. Ejecuta los comandos línea por línea a través de la CLI, lo cual puede facilitar la identificación de errores y otros problemas.
Exploremos la opción de conectarse al developer endpoint a través de SSH para hacer un troubleshooting más detallado:
Conexión vía SSH: En caso de que encuentres errores al usar Zeppelin, puedes optar por conectarte directamente a PySpark a través de SSH. Una vez conectado, ejecuta las consultas directamente desde la CLI.
Validar resultados en la CLI: Ejecutando las consultas de esta manera, tendrás oportunidad de ver los resultados en tiempo real, incluyendo errores o advertencias que puedan surgir durante la ejecución.
Este enfoque te permitirá ejecutar análisis, solucionar errores y planificar los siguientes pasos en la arquitectura de datos de AWS Glue. Sigue explorando e integrando tus datos para maximizar su valor y seguir aprendiendo en el emocionante mundo de la ingeniería de datos.
