Bienvenida e introducci贸n al curso

1

Iniciando con Big Data

2

Cloud Computing en proyectos de BigData

3

Introducci贸n al manejo de datos en Cloud

4

Datos en Cloud

5

驴Qu茅 nube deber铆a utilizar en mi proyecto de Big Data?

Arquitecturas

6

Arquitecturas Lambda

7

Arquitectura Kappa

8

Arquitectura Batch

Extracci贸n de informaci贸n

9

Llevar tu informaci贸n al cloud

10

Demo - Creando nuestro IDE en la nube con Python - Boto3

11

驴C贸mo usar Boto3?

12

API Gateway

13

Storage Gateway

14

Kinesis Data Streams

15

Configuraci贸n de Kinesis Data Streams

16

Demo - Despegando Kinesis con Cloudformation

17

Kinesis Firehose

18

Demo - Configuraci贸n de Kinesis Firehose

19

Reto - Configurando Kinesis Firehose

20

AWS - MSK

21

Demo - Despliegue de un cl煤ster con MSK

Transformaci贸n de Informaci贸n

22

AWS - Glue

23

Demo - Instalando Apache Zeppelin

24

Creaci贸n del Developer Endpoint

25

Demo - Conectando nuestro developer Endpoint a nuestro Zeppelin Edpoint

26

Demo - Creando nuestro primer ETL - Crawling

27

Demo - Creando nuestro primer ETL - Ejecuci贸n

28

Demo - Creando nuestro primer ETL - Carga

29

AWS - EMR

30

Demo - Desplegando nuestro primer cl煤ster con EMR

31

Demo - Conect谩ndonos a Apache Zeppelin en EMR

32

Demo- Despliegue autom谩tico de EMR con cloudformation

33

AWS - Lambda

34

Ejemplos AWS- Lambda

35

Demo - Creando una lambda para BigData

Carga de Informaci贸n

36

AWS - Athena

37

Demo - Consultando data con Athena

38

AWS - RedShift

39

Demo - Creando nuestro primer cl煤ster de RedShift

40

AWS - Lake Formation

Consumo de informaci贸n

41

AWS - ElasticSearch

42

Demo - Creando nuestro primer cl煤ster de ElasticSearch

43

AWS - Kibana

44

AWS - QuickSight

45

Demo - Visualizando nuestra data con QuickSight

Seguridad, Orquestaci贸n y Automatizaci贸n

46

Seguridad en los Datos

47

AWS Macie

48

Demo - Configurando AWS Macie

49

Apache Airflow

50

Demo - Creando nuestro primer cl煤ster en Cloud Composer

51

Arquitectura de referencia

Clase p煤blica

52

驴Qu茅 es Big Data?

No tienes acceso a esta clase

隆Contin煤a aprendiendo! 脷nete y comienza a potenciar tu carrera

Curso de Big Data en AWS

Curso de Big Data en AWS

Carlos Andr茅s Zambrano Barrera

Carlos Andr茅s Zambrano Barrera

Arquitecturas Lambda

6/52
Recursos

La arquitectura Lambda es atribuida a Nathan Marz, dise帽ada para ser escalable, tolerante a fallos y de alto procesamiento de datos.

Tiene una gran robustez, puede procesar una alta cantidad de datos. Est谩 compuesta por tres capas:

  1. Batch: En esta capa vamos a procesar toda la informaci贸n almacenada con anterioridad, desde el d铆a anterior hasta meses.
  2. Serve: Dentro de esta capa es posible visualizar la data procesada de la capa batch.
  3. Speed: Conforme llega la data se va a ir procesando.

Aportes 9

Preguntas 1

Ordenar por:

驴Quieres ver m谩s aportes, preguntas y respuestas de la comunidad?

o inicia sesi贸n.

Es atribuida a Nathan Marz. Se dise帽贸 como una arquitectura escalable, tolerante a fallos y de alto procesamiento de datos.
Esta arquitectura buscaba satisfacer necesidades de procesamiento de datos en altas cantidades.
Se compone de tres capas: Batch, Serve y Speed.

  • Batch: En esta capa vamos a procesar toda la informaci贸n almacenada con anterioridad, desde el d铆a anterior hasta meses.
  • Serve: Dentro de esta capa es posible visualizar la informaci贸n procesada desde la capa batch.
  • Speed: Conforme llega la informaci贸n se va a ir procesando.

En esta arquitectura, podemos ver que se hace uso tanto de la capa Batch como de la capa Speed (las cuales est谩n enfocadas al mismo objetivo general: alimentar otro servicio), y al tenerlas combinadas, se aumenta la complejidad en cuanto a cargas de administraci贸n. Sin embargo, esta arquitectura es bastante usada, y puede ser aprovechada manejando las capas Batch y Serve para datos que puedan ser tratados de manera hist贸rica, y trabajar en la capa Speed informaci贸n que requiera ser procesada y visualizada en tiempo real, todo en un mismo proyecto. Aunque muchas veces s贸lo es utilizada una o dos de las tres capas que tenemos disponibles en esta arquitectura.

aparte de la arquitectura lambda me podrias indicar otras arquitecturas ? y cual me recomiendas utilizar ?

book鈥揃ig Data teaches you to build big data systems using an architecture designed specifically to capture and analyze web-scale data. This book presents the Lambda Architecture, a scalable, easy-to-understand approach that can be built and run by a small team. You鈥檒l explore the theory of big data systems and how to implement them in practice. In addition to discovering a general framework for processing big data, you鈥檒l learn specific technologies like Hadoop, Storm, and NoSQL databases.

Web-scale applications like social networks, real-time analytics, or e-commerce sites deal with a lot of data, whose volume and velocity

Excelente explicaci贸n no solo de la Arquitectura Lambda, sino de los casos de uso para las capas Batch y Speed es importante esto de conocer la razon de ser de cada una.

La arquitectura Lambda es atribuida a Nathan Marz, dise帽ada para ser escalable, tolerante a fallos y de alto procesamiento de datos.

Tiene una gran robustez, puede procesar una alta cantidad de datos. Est谩 compuesta por tres capas:

Batch: En esta capa vamos a procesar toda la informaci贸n almacenada con anterioridad, desde el d铆a anterior hasta meses.
Serve: Dentro de esta capa es posible visualizar la data procesada de la capa batch.
Speed: Conforme llega la data se va a ir procesando.

Otro uso de Lambda, procesar grandes cantidades de datos

interesantisimo. 馃槂

Muy clara la explicaci贸n por parte del docente.