Bienvenida e introducción al curso

1

Iniciando con Big Data

2

Cloud Computing en proyectos de BigData

3

Introducción al manejo de datos en Cloud

4

Datos en Cloud

5

¿Qué nube debería utilizar en mi proyecto de Big Data?

Arquitecturas

6

Arquitecturas Lambda

7

Arquitectura Kappa

8

Arquitectura Batch

Extracción de información

9

Llevar tu información al cloud

10

Demo - Creando nuestro IDE en la nube con Python - Boto3

11

¿Cómo usar Boto3?

12

API Gateway

13

Storage Gateway

14

Kinesis Data Streams

15

Configuración de Kinesis Data Streams

16

Demo - Despegando Kinesis con Cloudformation

17

Kinesis Firehose

18

Demo - Configuración de Kinesis Firehose

19

Reto - Configurando Kinesis Firehose

20

AWS - MSK

21

Demo - Despliegue de un clúster con MSK

Transformación de Información

22

AWS - Glue

23

Demo - Instalando Apache Zeppelin

24

Creación del Developer Endpoint

25

Demo - Conectando nuestro developer Endpoint a nuestro Zeppelin Edpoint

26

Demo - Creando nuestro primer ETL - Crawling

27

Demo - Creando nuestro primer ETL - Ejecución

28

Demo - Creando nuestro primer ETL - Carga

29

AWS - EMR

30

Demo - Desplegando nuestro primer clúster con EMR

31

Demo - Conectándonos a Apache Zeppelin en EMR

32

Demo- Despliegue automático de EMR con cloudformation

33

AWS - Lambda

34

Ejemplos AWS- Lambda

35

Demo - Creando una lambda para BigData

Carga de Información

36

AWS - Athena

37

Demo - Consultando data con Athena

38

AWS - RedShift

39

Demo - Creando nuestro primer clúster de RedShift

40

AWS - Lake Formation

Consumo de información

41

AWS - ElasticSearch

42

Demo - Creando nuestro primer clúster de ElasticSearch

43

AWS - Kibana

44

AWS - QuickSight

45

Demo - Visualizando nuestra data con QuickSight

Seguridad, Orquestación y Automatización

46

Seguridad en los Datos

47

AWS Macie

48

Demo - Configurando AWS Macie

49

Apache Airflow

50

Demo - Creando nuestro primer clúster en Cloud Composer

51

Arquitectura de referencia

Clase pública

52

¿Qué es Big Data?

Aún no tienes acceso a esta clase

Crea una cuenta y continúa viendo este curso

Curso de Big Data en AWS

Curso de Big Data en AWS

Carlos Andrés Zambrano Barrera

Carlos Andrés Zambrano Barrera

AWS - Athena

36/52
Recursos

Es un servicio completamente administrado cuyas características más importantes son:

  • Podemos realizar consultas SQL a la data almacenada en S3.
  • Soporta diferentes formatos de archivo de información.
  • Provee una integración nativa con otros servicios de AWS de almacenamiento como S3, RedShift, DynamoDB y Kinesis.
  • Podemos integrarlo con otras herramientas utilizando JDBC o ODBC.
  • Puedes almacenar las queries que realices y que más utilices.

Aportes 7

Preguntas 0

Ordenar por:

¿Quieres ver más aportes, preguntas y respuestas de la comunidad? Crea una cuenta o inicia sesión.

Es un servicio completamente administrado cuyas características más importantes son:

Podemos realizar consultas SQL a la data almacenada en S3.
Soporta diferentes formatos de archivo de información.
Provee una integración nativa con otros servicios de AWS de almacenamiento como S3, RedShift, DynamoDB y Kinesis.
Podemos integrarlo con otras herramientas utilizando JDBC o ODBC.
Puedes almacenar las queries que realices y que más utilices.

AWS - Athena
Es un servicio completamente administrado cuyas características más importantes son:
• Podemos realizar consultas SQL a la data almacenada en S3.
• Soporta diferentes formatos de archivo de información.
• Provee una integración nativa con otros servicios de AWS de almacenamiento como S3, RedShift, DynamoDB y Kinesis.
• Podemos integrarlo con otras herramientas utilizando JDBC o ODBC.
• Puedes almacenar las queries que realices y que más utilices.
• Servicio de consultas interactivo para data en S3 utilizando SQL.
• Es serverless, creado en presto y soporta diferentes formatos csv, json, parquet, ORC, tsv…)
• Provee interacción con otros servicios de AWS como S3, Redshift, DynamoDB y Kinesis.

JDBC / ODBC: Conexión con herramientas usando JDBC ejemplo: SQL Workbench.
Queries: Consultas pueden ser guardadas para utilizar más adelante.
Seguridad: Permisos granulares por base de datos y por tabla.

Amazon Athena is an interactive query service that makes it easy to analyze data in Amazon S3 using standard SQL. Athena is serverless, so there is no infrastructure to setup or manage, and you pay only for the queries you run. To get started, simply point to your data in S3, define the schema, and start querying using standard SQL.

Athena - unido a quicksight para visualizar toda los datos y las consultas

AWS - Athena
Es un servicio completamente administrado cuyas características más importantes son:
• Podemos realizar consultas SQL a la data almacenada en S3.
• Soporta diferentes formatos de archivo de información.
• Provee una integración nativa con otros servicios de AWS de almacenamiento como S3, RedShift, DynamoDB y Kinesis.
• Podemos integrarlo con otras herramientas utilizando JDBC o ODBC.
• Puedes almacenar las queries que realices y que más utilices.
• Servicio de consultas interactivo para data en S3 utilizando SQL.
• Es serverless, creado en presto y soporta diferentes formatos csv, json, parquet, ORC, tsv…)
• Provee interacción con otros servicios de AWS como S3, Redshift, DynamoDB y Kinesis.

AWS Athena es un servicio de consultas completamente administrado.

Características

  • Podemos tomar ventajas de realizar consultas SQL a través de Athena sobre la información que esté almacenada en S3. Athena se conectaría a un Glue Catalog, el cual le indicaría dónde está la información almacenada en S3.
  • Es serverless; es decir, no tendremos cargas de administración o de creación de servidores para utilizar este servicio.
  • Podemos consultar diferentes tipos de archivos a través de SQL, como por ejemplo, csv, JSON, parquet, ORC, tsv, etc.
  • Este servicio provee una integración nativa con otros servicios de AWS como Glue, S3, RedShift, DynamoDB y Kinesis.
  • También podemos integrar este servicio haciendo uso de JDBC y ODBC con otras herramientas. Por ejemplo, podríamos trabajar con MySQL Workbrench, y a través de JDBC nos conectaríamos a Athena para realizar consultas a la información almacenada en S3.
  • Las consultas pueden ser guardadas para utilizarlas más adelante.
  • En cuanto a seguridad, tenemos permisos granulares a nivel de bases de datos y de tablas.

Es así como este servicio está en una parte muy importante de la cadena de BigData.

Excelente!. En resumen es como tener un IDE (Integrated Development Environment) de consultas SQL pero como servicio.