Hola todos !
Hice el ejercicio de montar un ETL en Glue, aproveche la experiencia para escribir un articulo en Medium. Los invito a echarle un vistazo, puede complementar lo que Carlos explica. Articulo AWS Glue
Bienvenida e introducción al curso
Iniciando con Big Data
Cloud Computing en proyectos de BigData
Introducción al manejo de datos en Cloud
Datos en Cloud
¿Qué nube debería utilizar en mi proyecto de Big Data?
Arquitecturas
Arquitecturas Lambda
Arquitectura Kappa
Arquitectura Batch
Extracción de información
Llevar tu información al cloud
Demo - Creando nuestro IDE en la nube con Python - Boto3
¿Cómo usar Boto3?
API Gateway
Storage Gateway
Kinesis Data Streams
Configuración de Kinesis Data Streams
Demo - Despegando Kinesis con Cloudformation
Kinesis Firehose
Demo - Configuración de Kinesis Firehose
Reto - Configurando Kinesis Firehose
AWS - MSK
Demo - Despliegue de un clúster con MSK
Transformación de Información
AWS - Glue
Demo - Instalando Apache Zeppelin
Creación del Developer Endpoint
Demo - Conectando nuestro developer Endpoint a nuestro Zeppelin Edpoint
Demo - Creando nuestro primer ETL - Crawling
Demo - Creando nuestro primer ETL - Ejecución
Demo - Creando nuestro primer ETL - Carga
AWS - EMR
Demo - Desplegando nuestro primer clúster con EMR
Demo - Conectándonos a Apache Zeppelin en EMR
Demo- Despliegue automático de EMR con cloudformation
AWS - Lambda
Ejemplos AWS- Lambda
Demo - Creando una lambda para BigData
Carga de Información
AWS - Athena
Demo - Consultando data con Athena
AWS - RedShift
Demo - Creando nuestro primer clúster de RedShift
AWS - Lake Formation
Consumo de información
AWS - ElasticSearch
Demo - Creando nuestro primer clúster de ElasticSearch
AWS - Kibana
AWS - QuickSight
Demo - Visualizando nuestra data con QuickSight
Seguridad, Orquestación y Automatización
Seguridad en los Datos
AWS Macie
Demo - Configurando AWS Macie
Apache Airflow
Demo - Creando nuestro primer clúster en Cloud Composer
Arquitectura de referencia
Clase pública
¿Qué es Big Data?
You don't have access to this class
Keep learning! Join and start boosting your career
When working with large volumes of data, data transformation is key. Amazon Web Services (AWS) Glue allows you to automate and scale these transformation tasks through its Jobs. Find out how to set up and run an ETL Job using Glue and follow step by step to optimize your data.
A Job in AWS Glue is a component in charge of transforming data. They are processes that consist of transformation code that manipulates data as required. Here are some key steps to set up and use an AWS Glue Job:
Job Creation:
Script Configuration:
ETL Transformations:
To start the data transformation, it is important to define at least three basic operations:
Dynamic Frames creation: these are structures that allow Glue to identify and manage data sources for dynamic transformations.
Data operations:
# Example of a Join in Glue Python scriptjoined_data = DynamicFrame.fromDF( memberships_df.join(persons_df, memberships_df.id == persons_df.personid), glueContext, " joined_data")
Automating the execution of Jobs is essential to optimize time and resources in a professional environment:
Once the Job is successfully executed, you can verify in S3 that the files are updated as scheduled.
Operations performed through AWS Glue are a powerful and automated way to handle large volumes of data. These steps provide a basic framework that can be expanded and customized according to the characteristics and needs of each Big Data project. Continue exploring and learning to maximize the potential of your projects with AWS Glue and more!
Contributions 6
Questions 1
Hola todos !
Hice el ejercicio de montar un ETL en Glue, aproveche la experiencia para escribir un articulo en Medium. Los invito a echarle un vistazo, puede complementar lo que Carlos explica. Articulo AWS Glue
Se necesita bastante conocimiento Java y Python para poder configurar dichas tareas de transformación podrias recomendarme algunos links para revisar
Les recomiendo el formato glueparquet
interesante y claro.https://docs.aws.amazon.com/es_es/glue/latest/dg/what-is-glue.html
Want to see more contributions, questions and answers from the community?