Creación de un ETL con AWS Glue: Crawlers y Catalogación de Datos

Clase 26 de 52 • Curso de Big Data en AWS

Clase anteriorSiguiente clase

Resumen

¿Cómo crear tu primer ETL con Apache Zeppelin y AWS Glue?

Iniciar en el mundo de la integración de datos y ETL (Extract, Transform, Load) puede ser abrumador, pero con herramientas como Apache Zeppelin y AWS Glue, este proceso se vuelve mucho más manejable. En este contenido, exploraremos cómo crear tu primer ETL y los pasos para craulear la data usando estos potentes servicios.

¿Cómo iniciar con AWS Glue y Apache Zeppelin?

Antes de comenzar, necesitas tener Apache Zeppelin instalado localmente y conectado a tu desarrollador de AWS Glue. Una vez que esto está configurado, el siguiente paso es aprender a crear tu primer ETL en fases. En esta guía, nos enfocaremos en cómo craulear la data inicial para transformación, comenzando por AWS Glue.

¿Qué es un crawler en AWS Glue y cómo se usa?

Un crawler en AWS Glue es una tarea automática que permite identificar y catalogar la data desde un bucket en S3. El proceso es el siguiente:

  1. Crea tu bucket de origen en S3:

    • Dirígete a Servicios en la consola de AWS.
    • Crea un bucket llamado origen-platzi.
    • Sube los archivos descargados desde el repositorio de GitHub en la carpeta JSON.

  2. Configura un nuevo crawler en AWS Glue:

    • Accede al servicio Glue en AWS.
    • En Crawlers, agrega un nuevo crawler llamado Platzi Crawler.
    • Especifica el origen como el bucket de S3 que creaste (origen-platzi).
    • Configura el crawler para ejecutarse bajo demanda.

  3. ¿Cómo se realiza el proceso de crauleo?

    • Ejecuta el crawler para que identifique y catalogue la data JSON en el Glue Catalog.
    • El Glue Catalog almacena los metadatos, permitiendo su uso por otros servicios como Athena.

¿Cómo se gestiona el Glue Catalog para tu data?

Una vez que se completa la operación del crawler, este crea tablas a partir de tus archivos JSON en una base de datos dentro del Glue Catalog. Todo el proceso se refleja de la siguiente manera:

  • Revisa las tablas creadas en el Glue Catalog bajo tu base de datos PlatziDB.
  • Usa servicios como Athena para consultar estas tablas y entender la estructura y contenido de tu data.

¿Cómo continuar con la transformación de data?

Una vez cargada la data en el Glue Catalog, el siguiente paso es transformarla y visualizarla nuevamente. Este proceso puede realizarse con ETL scripts más avanzados junto con herramientas de consulta como Athena.

Recomendaciones Prácticas

  • Revisa la documentación de AWS Glue y Apache Zeppelin regularmente, ya que ambos servicios son actualizados frecuentemente con nuevas características.
  • Explora ejemplos prácticos en GitHub: utilizar repositorios con ejemplos listos puede ayudarte a comprender el proceso completo de ETL.
  • Ejecuta pruebas en un entorno sandbox para familiarizarte con los errores comunes y comprender cómo solucionarlos antes de implementarlo en producción.

Con estas guías y herramientas, estarás en camino de dominar la ingeniería de datos y explorar las posibilidades vastas que AWS y Apache Zeppelin ofrecen. ¡Sigue profundizando en cada paso, mantén tu curiosidad y expande tus habilidades!