Bienvenida e introducci贸n al curso

1

Iniciando con Big Data

2

Cloud Computing en proyectos de BigData

3

Introducci贸n al manejo de datos en Cloud

4

Datos en Cloud

5

驴Qu茅 nube deber铆a utilizar en mi proyecto de Big Data?

Arquitecturas

6

Arquitecturas Lambda

7

Arquitectura Kappa

8

Arquitectura Batch

Extracci贸n de informaci贸n

9

Llevar tu informaci贸n al cloud

10

Demo - Creando nuestro IDE en la nube con Python - Boto3

11

驴C贸mo usar Boto3?

12

API Gateway

13

Storage Gateway

14

Kinesis Data Streams

15

Configuraci贸n de Kinesis Data Streams

16

Demo - Despegando Kinesis con Cloudformation

17

Kinesis Firehose

18

Demo - Configuraci贸n de Kinesis Firehose

19

Reto - Configurando Kinesis Firehose

20

AWS - MSK

21

Demo - Despliegue de un cl煤ster con MSK

Transformaci贸n de Informaci贸n

22

AWS - Glue

23

Demo - Instalando Apache Zeppelin

24

Creaci贸n del Developer Endpoint

25

Demo - Conectando nuestro developer Endpoint a nuestro Zeppelin Edpoint

26

Demo - Creando nuestro primer ETL - Crawling

27

Demo - Creando nuestro primer ETL - Ejecuci贸n

28

Demo - Creando nuestro primer ETL - Carga

29

AWS - EMR

30

Demo - Desplegando nuestro primer cl煤ster con EMR

31

Demo - Conect谩ndonos a Apache Zeppelin en EMR

32

Demo- Despliegue autom谩tico de EMR con cloudformation

33

AWS - Lambda

34

Ejemplos AWS- Lambda

35

Demo - Creando una lambda para BigData

Carga de Informaci贸n

36

AWS - Athena

37

Demo - Consultando data con Athena

38

AWS - RedShift

39

Demo - Creando nuestro primer cl煤ster de RedShift

40

AWS - Lake Formation

Consumo de informaci贸n

41

AWS - ElasticSearch

42

Demo - Creando nuestro primer cl煤ster de ElasticSearch

43

AWS - Kibana

44

AWS - QuickSight

45

Demo - Visualizando nuestra data con QuickSight

Seguridad, Orquestaci贸n y Automatizaci贸n

46

Seguridad en los Datos

47

AWS Macie

48

Demo - Configurando AWS Macie

49

Apache Airflow

50

Demo - Creando nuestro primer cl煤ster en Cloud Composer

51

Arquitectura de referencia

Clase p煤blica

52

驴Qu茅 es Big Data?

No tienes acceso a esta clase

隆Contin煤a aprendiendo! 脷nete y comienza a potenciar tu carrera

Curso de Big Data en AWS

Curso de Big Data en AWS

Carlos Andr茅s Zambrano Barrera

Carlos Andr茅s Zambrano Barrera

AWS - Lake Formation

40/52
Recursos

Este servicio a煤n no se encuentra disponible al p煤blico, pero cuenta con grandes caracter铆sticas:

  • Facilita y permite la creaci贸n de data lake en cuesti贸n de d铆as.
  • Tiene integraci贸n con diferentes fuentes usando JDBC.
  • Va a ejecutar Crawlers.
  • Te va a ayudar con los ETL.
  • Limpia y elimina data duplicada utilizando FindMatch.
  • Optimiza las particiones de S3.
  • Control de permisos por usuario por bases de datos, tablas y columnas.
  • Se puede asignar data owners para control de permisos.
  • Analytics desde otros servicios como EMR y RedShift.

Aportes 8

Preguntas 0

Ordenar por:

Los aportes, preguntas y respuestas son vitales para aprender en comunidad. Reg铆strate o inicia sesi贸n para participar.

AWS Lake Formation es un servicio que nos ayuda facilit谩ndonos las tareas de transformaci贸n (identificaci贸n de informaci贸n, transformaci贸n de informaci贸n, control de acceso y seguridad) a nuestro Data Lake, y permite adicionalmente integraci贸n con otros servicios de AWS.

La promesa principal de este servicio es reducir las cargas y el tiempo de administraci贸n de nuestros Data Lakes dentro de AWS.

Caracter铆sticas

  • Facilita y permite la creaci贸n de un Data Lake en cuesti贸n de d铆as con muy buena seguridad; es decir, integra diferentes servicios del ecosistema de AWS para crear un Data Lake de una forma muy f谩cil y muy r谩pida.
  • Tiene integraci贸n con diferentes fuentes, hasta On-Premise utilizando JDBC.
  • Identifica los or铆genes y crea las tablas basado en su estructura (ejecutando Crawlers); es decir, este servicio nos ayuda a Crawlear la informaci贸n con los Crawlers de Glue, identificar la informaci贸n origen y crear el Glue Catalog.
  • Aparte de identificar la informaci贸n origen, nos ayuda con los ETLs; es decir, este servicio nos ayuda a orquestar el Crawling, el ETL y si luego necesitamos m谩s Crawling, nos ayudar谩 con ello.
  • Limpia y elimina informaci贸n duplicada utilizando una herramienta de Machine Learning llamada FindMatch, la cual, tambi茅n optimiza y mejora el rendimiento y tiempo de limpieza.
  • Optimiza las particiones de S3 para consultar m谩s eficientemente la informaci贸n.
  • Cifrado autom谩tico de la informaci贸n en S3 utilizando SSE-KMS.
  • En cuanto a accesos, tenemos mayor granularidad que en Athena, al tener control de permisos por usuarios por bases de datos, tablas, columnas y campos.
  • A nivel de auditor铆a, tiene integraci贸n nativa con CloudTrail, que es un servicio de AWS que registra todas las llamadas a la API.
  • El cobro de Lake Formation es por cada uno de los servicios integrados a 茅l (Crawling, ETL, Data Catalog, Security Settings & Access Control); Lake Formation como tal no tiene pricing.

Funcionalidades

  • Owners: Se pueden designar Data Owners para controlar permisos por usuarios.
  • Discover: Nos ayuda a descubrir informaci贸n relevante para implementar an谩lisis utilizando Machine Learning.
  • Insights: Podemos utilizar este servicio e integrarlo nativamente con EMR y RedShift para ejecutar anal铆ticas sobre estos datos.

Ya est谩 disponible el servicio para quien est茅 interesado, justo estoy por desarrollar un proyecto
https://aws.amazon.com/blogs/aws/aws-lake-formation-now-generally-available/

Servicio altamente prometedor para mucha gesti贸n de seguridad, data prep, etl y reducir las cargas

Este servicio a煤n no se encuentra disponible al p煤blico, pero cuenta con grandes caracter铆sticas:

Facilita y permite la creaci贸n de data lake en cuesti贸n de d铆as.
Tiene integraci贸n con diferentes fuentes usando JDBC.
Va a ejecutar Crawlers.
Te va a ayudar con los ETL.
Limpia y elimina data duplicada utilizando FindMatch.
Optimiza las particiones de S3.
Control de permisos por usuario por bases de datos, tablas y columnas.
Se puede asignar data owners para control de permisos.
Analytics desde otros servicios como EMR y RedShift.

AWS LAke formation pertenece ala categoria de ANalytics>
AWS Lake Formation is a managed service that makes it easy to set up, secure, and manage your data lakes. Lake Formation helps you discover your data sources and catalog, cleanse, and transform the data. You can use Lake Formation to secure and ingest the data in an Amazon Simple Storage Service (Amazon S3) data lake.

Data lake administrators are initially the only AWS Identity and Access Management (IAM) users or roles that can grant Lake Formation permissions on data locations and Data Catalog resources to any principal (including self). For more information about data lake administrator capabilities, see Implicit Lake Formation Permissions.

You can create a data lake administrator using the Lake Formation console or the PutDataLakeSettings operation of the Lake Formation API.

The following permissions are required to create a data lake administrator. The Administrator IAM user has these permissions implicitly.

lakeformation:PutDataLakeSettings

lakeformation:GetDataLakeSettings

鈥 Facilita y permite la creaci贸n de un data lake en d铆as con muy buena seguridad.
鈥 Tiene integraci贸n con diferentes fuentes, hasta On-premise usando JDBC.
鈥 Identifica los or铆genes y crea las tablas basado en su estructura (Crawlers).
鈥 ETL: Despu茅s de hacer el Crawl, se encarga de orquestar el ETL en Glue para transformar la data.
鈥 Clean: Limpia y elimina data duplicada utilizando Machine Learning llamado FindMatch.
鈥 Optimizaci贸n: Optimiza las particiones de S3 para consultar m谩s eficientemente la data.
鈥 Seguridad: Cifrado autom谩tico de la data en S3 utilizando SSE-KMS.
鈥 Acceso: Control de permisos por usuarios por bases de datos, tablas y columnas
鈥 Auditor铆a: Logging a nivel de auditor铆a registrados en Cloudtrail.
鈥 Owners: Se pueden designar data owners para controlar permisos por usuarios.
鈥 Discover: Descubre data relevante para implementar an谩lisis.
鈥 Insights: Analytics desde otros servicios como EMR y RedShift.

Nuevos Feaures de Lake Formation. Consulte aqu铆