Consultas SQL en S3 con AWS Athena y Glue Catalog

Clase 37 de 52 • Curso de Big Data en AWS

Resumen

¿Cómo realizar consultas sobre datos en S3 utilizando Athena?

Explorar los datos almacenados en Amazon S3 de manera eficiente es una habilidad fundamental en el análisis de datos en la nube. Gracias al servicio AWS Athena, este proceso se simplifica mediante el uso de consultas SQL, permitiendo acceder directamente a la información sin necesidad de trasladarla a otros sistemas de procesamiento. Esta clase te guiará a través del uso de Athena para consultar datos en S3 de manera efectiva.

¿Qué es Athena y cómo se relaciona con Glue Catalog?

Athena es un servicio de consulta interactiva que facilita el acceso a datos en Amazon S3 utilizando SQL estándar. Lo espectacular de Athena es su capacidad para integrarse con el Glue Catalog de AWS, donde se almacenan las bases de datos y tablas que definen la estructura y el esquema de los datos en S3.

Glue Catalog: Funciona como un registro que organiza y describe los metadatos. Las bases de datos y tablas que aparecen en Athena proceden directamente de este catálogo, siendo actualizadas por crawlers que examinan los datos en S3.
Crawlers: Herramientas que recorren los archivos almacenados para determinar su estructura, componentes y tipologías.

¿Cómo ejecutar consultas SQL en Athena?

Con Athena, puedes ejecutar consultas SQL para explorar tus datasets. Después de haber definido tus esquemas en el Glue Catalog, puedes empezar a consultar las bases de datos desde la consola de Athena.

Consulta de vista previa (Preview Table): Ejecuta una consulta rápida para previsualizar los primeros registros de una tabla. Por defecto, esta consulta devuelve un límite inferior a 10, pero puedes modificarlo según tus necesidades.
```
SELECT * FROM nombre_de_tu_tabla LIMIT 100;
```
Consulta personalizada: Ajusta tus consultas para obtener información específica, considerando que el costo de ejecución dependerá del volumen de datos escaneados.

¿Cómo administrar consultas y resultados en Athena?

Una vez que comienzas a manejar diversas consultas en Athena, se vuelve crucial administrar estas de manera eficiente:

Almacenamiento de Queries: Puedes guardar consultas con un nombre y descripción, lo cual facilita ejecutar queries recurrentes sin tener que reescribirlas cada vez.
Historial de Ejecuciones: Athena ofrece un registro detallado de las consultas ejecutadas para que puedas revisarlas, optimizarlas o reutilizarlas. Incluye información sobre el tiempo de ejecución y el volumen de datos escaneados, lo cual te permite estimar costos.
Descarga de Resultados: Los resultados de las consultas pueden descargarse para su análisis posterior o para ser integrados en herramientas de reporteo.

¿Cómo gestionar enfoques de seguridad y permisos en Athena?

El manejo seguro del acceso a tus datos es crucial. Athena permite configurar permisos granulares a través de roles y políticas de AWS Identity and Access Management (IAM).

Roles y políticas: Al definir roles, puedes especificar qué tablas y bases de datos pueden ser accedidas, asegurando que solo usuarios autorizados puedan ejecutar ciertas consultas.

¿Cómo integrar Athena con herramientas de visualización?

Athena no solo es potente por su capacidad de consulta, sino también por su flexibilidad de integración. Puedes conectar Athena con herramientas de visualización como Amazon QuickSight para generar dashboards interactivos, aportando un mayor nivel de análisis gráfico a tus datasets.

A través del dominio de estas funcionalidades, puedes transformar la manera en que interactúas con los datos en la nube y optimizar tus procesos de análisis y toma de decisiones en tiempo real. ¡La práctica constante y el aprendizaje continuo son tus mejores aliados!

Usuario anónimo

user•

Amazon Athena es un servicio de consultas interactivo que facilita el análisis de datos directamente en Amazon Simple Storage Service (Amazon S3) mediante SQL estándar. Unas pocas acciones en la consola de administración de AWS le permitirán apuntar Athena a los datos guardados en Amazon S3 y comenzar a usar SQL estándar para realizar consultas ad hoc y obtener resultados en cuestión de segundos.

Milton Garcia

student•

Aspectos de Athena:

Consultas SQL sobre data S3.
Se apoya en el glue catalog, base de datos, tablas y campos.
Almacenar quieres recurrentes.
Gestión de Permisos granulares encontrados en el rol y política asignada al rol que va a consultar esto.
Historia de las consultas realizadas, cuanta data hemos procesado e identificar aproximación al costo.
Herramientas de visualización como QuickSight.

Alexander Bolaño Cervantes

student•

Me preocupa cuando intento crear una tabla en Athena con datos de S3 debo conocer el nombre de cada una de las columnas para poder añadirlas antes de poder hacer una consulta , en ese orden de ideas tendría que usar otra herramienta como AWS glue crear los glue catalogs antes de usar Athena ??? , me parece que es una especie de letra pequeña de tiene este servicio ..

Carlos Andrés Zambrano Barrera

teacher•

Tienes que usar el crawler para identificar la data, depende de la estructura si es muy particular usas un classifier dentro del crawler... Después consultas la data con Athena.

Juan Ulloa

student•

Desde cuanta data procesada te cobra AWS? Como puedo calcular para que no se me dispare el precio de cuenta free???

john ct

student•

Athena helps you analyze unstructured, semi-structured, and structured data stored in Amazon S3. Examples include CSV, JSON, or columnar data formats such as Apache Parquet and Apache ORC. You can use Athena to run ad-hoc queries using ANSI SQL, without the need to aggregate or load the data into Athena.

Athena integrates with Amazon QuickSight for easy data visualization. You can use Athena to generate reports or to explore data with business intelligence tools or SQL clients connected with a JDBC or an ODBC driver. For more information, see What is Amazon QuickSight in the Amazon QuickSight User Guide and Connecting to Amazon Athena with ODBC and JDBC Drivers.

Athena integrates with the AWS Glue Data Catalog, which offers a persistent metadata store for your data in Amazon S3. This allows you to create tables and query data in Athena based on a central metadata store available throughout your AWS account and integrated with the ETL and data discovery features of AWS Glue. For more information, see Integration with AWS Glue and What is AWS Glue in the AWS Glue Developer Guide.

john ct

student•

Dbs availables used by the crawlers

john ct

student•

Pivot table a query with alot of information

Andres Camilo Graciano Higuita

student•

Para mantener actualizado el Glue Catalog cuando los datos en S3 cambian con frecuencia, se pueden implementar las siguientes estrategias:

Crawlers de Glue: Configura crawlers que escaneen periódicamente los datos en S3 para detectar cambios y actualizar el Glue Catalog automáticamente.
Triggers de ETL: Implementa triggers en tus trabajos de ETL para que se ejecuten cada vez que se detecten cambios en los datos de S3.
Versionado de datos: Utiliza un enfoque de versionado, donde guardes versiones anteriores de los datos y actualices el Glue Catalog solo cuando se introduzcan cambios significativos.
Programación de tareas: Programa tareas regulares que ejecuten crawlers o scripts para verificar y actualizar el Glue Catalog.

Estas estrategias ayudarán a mantener la integridad y actualidad de los metadatos en el Glue Catalog.

Juan Nishiguchi Mendoza

company_admin•

Cuando creo tablas en Athena a partir de otras tablas ya existentes, la data se guardan en S3 con nombres extraños, hay manera de enviarlo a una ruta especifica con un nombre adecuado??

Carlos Andrés Zambrano Barrera

teacher•

te presente que como tal no son tablas de athena, Athena utiliza el Glue Catalog para interpretar los datos en S3 como tablas. Ahora referente a tu pregunta podes usar la SDK Boto3 de athena para personalizar las tablas, bases de datos --> https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/glue.html#Glue.Client.create_table Referente a los nombres son aleatorios y usualmente uno no se enfoca en los nombres, en proyectos de bigdata tendras millones, lo importante ahi es la estructura dentro del file que pueda ser interpretada por el crawler y la compresión.

Luis Martin Grados Salinas

student•

Hola jnishiguchi espero este ejemplo te pueda ayudar:

CREATE TABLE prueba.usuario_parquet WITH ( format='PARQUET', external_location='s3://data-athena-tables/usuario-parquet/' ) AS select * from prueba.usuario;

Mario Alexander Vargas Celis

student•

Amazon Athena es un servicio de consulta interactiva sin servidor que permite analizar datos almacenados en Amazon S3 utilizando SQL estándar. Se basa en Presto y es ideal para ejecutar consultas ad hoc sobre grandes volúmenes de datos sin necesidad de configurar servidores.

🔹 Pasos para consultar datos con Amazon Athena

1️⃣ Habilitar Amazon Athena

Antes de consultar datos, asegúrate de que Athena esté habilitado en la consola de AWS:

Ve a la consola de AWS.
Busca "Athena" en la barra de búsqueda y ábrelo.
Configura un "S3 Query result location" donde se almacenarán los resultados de las consultas.

2️⃣ Crear una base de datos en Athena

Ejecuta el siguiente comando en el editor de Athena para crear una base de datos:

CREATE DATABASE mi_base_de_datos;

Para usar la base de datos en futuras consultas:

USE mi_base_de_datos;

3️⃣ Crear una tabla basada en datos almacenados en S3

Si los datos están en Amazon S3, puedes crear una tabla en Athena sin mover los datos, solo definiendo el esquema:

CREATE EXTERNAL TABLE mi_tabla ( id STRING, nombre STRING, edad INT, ciudad STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION 's3://ruta-del-bucket/datos/';

4️⃣ Consultar datos con SQL

Puedes hacer consultas como en una base de datos tradicional:

📌 Obtener todos los registros:

SELECT * FROM mi_tabla LIMIT 10;

📌 Filtrar por una condición:

SELECT * FROM mi_tabla WHERE ciudad = 'Bogotá';

📌 Agrupar datos:

SELECT ciudad, COUNT(*) AS total FROM mi_tabla GROUP BY ciudad;

🔹 Consejos para optimizar las consultas en Athena

✅ Usa formatos eficientes: Convertir los datos a Parquet o ORC en lugar de CSV o JSON mejora la velocidad y reduce costos. ✅ Crea particiones: Para mejorar la velocidad de consulta, usa particiones en columnas con alta cardinalidad como fecha o ciudad. ✅ Usa compresión: Archivos comprimidos con Snappy o Gzip reducen el costo de escaneo.

Luis Miguel Gómez Acuña

student•

Excelente la explicación!