Bienvenida e introducción al curso

1

Iniciando con Big Data

2

Cloud Computing en proyectos de BigData

3

Introducción al manejo de datos en Cloud

4

Datos en Cloud

5

¿Qué nube debería utilizar en mi proyecto de Big Data?

Arquitecturas

6

Arquitecturas Lambda

7

Arquitectura Kappa

8

Arquitectura Batch

Extracción de información

9

Llevar tu información al cloud

10

Demo - Creando nuestro IDE en la nube con Python - Boto3

11

¿Cómo usar Boto3?

12

API Gateway

13

Storage Gateway

14

Kinesis Data Streams

15

Configuración de Kinesis Data Streams

16

Demo - Despegando Kinesis con Cloudformation

17

Kinesis Firehose

18

Demo - Configuración de Kinesis Firehose

19

Reto - Configurando Kinesis Firehose

20

AWS - MSK

21

Demo - Despliegue de un clúster con MSK

Transformación de Información

22

AWS - Glue

23

Demo - Instalando Apache Zeppelin

24

Creación del Developer Endpoint

25

Demo - Conectando nuestro developer Endpoint a nuestro Zeppelin Edpoint

26

Demo - Creando nuestro primer ETL - Crawling

27

Demo - Creando nuestro primer ETL - Ejecución

28

Demo - Creando nuestro primer ETL - Carga

29

AWS - EMR

30

Demo - Desplegando nuestro primer clúster con EMR

31

Demo - Conectándonos a Apache Zeppelin en EMR

32

Demo- Despliegue automático de EMR con cloudformation

33

AWS - Lambda

34

Ejemplos AWS- Lambda

35

Demo - Creando una lambda para BigData

Carga de Información

36

AWS - Athena

37

Demo - Consultando data con Athena

38

AWS - RedShift

39

Demo - Creando nuestro primer clúster de RedShift

40

AWS - Lake Formation

Consumo de información

41

AWS - ElasticSearch

42

Demo - Creando nuestro primer clúster de ElasticSearch

43

AWS - Kibana

44

AWS - QuickSight

45

Demo - Visualizando nuestra data con QuickSight

Seguridad, Orquestación y Automatización

46

Seguridad en los Datos

47

AWS Macie

48

Demo - Configurando AWS Macie

49

Apache Airflow

50

Demo - Creando nuestro primer clúster en Cloud Composer

51

Arquitectura de referencia

Clase pública

52

¿Qué es Big Data?

Curso de Big Data en AWS

Curso de Big Data en AWS

Carlos Andrés Zambrano Barrera

Carlos Andrés Zambrano Barrera

Arquitectura Kappa

7/52
Recursos

Fue presentada por Jay Krepsen en el 2014 como una evolución de la arquitectura lambda. Elimina la capa batch haciendo que todo se procese en tiempo real.

La arquitectura Kappa sigue los siguientes pilares:

  1. Todo es un stream.
  2. Información de origen no modificada.
  3. Solo un flujo de procesamiento.
  4. Capaz de reprocesar.

Aportes 15

Preguntas 2

Ordenar por:

Los aportes, preguntas y respuestas son vitales para aprender en comunidad. Regístrate o inicia sesión para participar.

favor corregir la respuesta de la pregunta en el examen. una arquitectura que no tiene capa batch?. se respondio kappa , luego kinesis, y luego processing pero de acuerdo al o explicado y leido es KAppa

Fue presentada por Jay Krepsen en el 2014 como una evolución de la arquitectura Lambda; consiste en eliminar la capa de batch y realizar todo el procesamiento en tiempo real (a través de la capa de streaming).

Aspectos importantes:

  1. Todo se maneja como un stream.
  2. La información origen no es modificada.
  3. Sólo hay un flujo de procesamiento.
  4. Es capaz de reprocesar información.

Esta arquitectura se fundamenta en el tiempo real, por lo cual, debemos enfocarnos aquí en los servicios de procesamiento en tiempo real.

La pregunta del examen de cual arquitectura no tiene capa batch esta mal, la respuesta es Kappa y dice que incorrecta![

No comentaron las desventajas de esta arquitectura solo que es una mejora de la anterior.

La arquitectura Kappa sigue los siguientes pilares:

Todo es un stream.
Información de origen no modificada.
Solo un flujo de procesamiento.
Capaz de reprocesar.

Kappa Architecture Design

Considero que las startups le estan apuntando a esta arquitectura como es el caso de rappi

¿Una desventaja puede ser el tema de almacenamiento, porque tiene que esta disponible la data para un posible re procesamiento?

¿De AWS se podria decir que Kinesis Firehose es una herramienta de procesamiento en batch?

Fue presentada por Jay Krepsen en el 2014 como una evolución de la arquitectura lambda. Elimina la capa batch haciendo que todo se procese en tiempo real.

Kappa architecture>
Todo es un stream.
Información de origen no modificada.
Solo un flujo de procesamiento.
Capaz de reprocesar.

Kappa Architecture is a software architecture pattern. Rather than using a relational DB like SQL or a key-value store like Cassandra, the canonical data store in a Kappa Architecture system is an append-only immutable log. From the log, data is streamed through a computational system and fed into auxiliary stores for serving

Interesante Arquitectura Kappa, todo se procesa en tiempo real

excelente explicación!!