Bienvenida e introducci贸n al curso

1

Iniciando con Big Data

2

Cloud Computing en proyectos de BigData

3

Introducci贸n al manejo de datos en Cloud

4

Datos en Cloud

5

驴Qu茅 nube deber铆a utilizar en mi proyecto de Big Data?

Arquitecturas

6

Arquitecturas Lambda

7

Arquitectura Kappa

8

Arquitectura Batch

Extracci贸n de informaci贸n

9

Llevar tu informaci贸n al cloud

10

Demo - Creando nuestro IDE en la nube con Python - Boto3

11

驴C贸mo usar Boto3?

12

API Gateway

13

Storage Gateway

14

Kinesis Data Streams

15

Configuraci贸n de Kinesis Data Streams

16

Demo - Despegando Kinesis con Cloudformation

17

Kinesis Firehose

18

Demo - Configuraci贸n de Kinesis Firehose

19

Reto - Configurando Kinesis Firehose

20

AWS - MSK

21

Demo - Despliegue de un cl煤ster con MSK

Transformaci贸n de Informaci贸n

22

AWS - Glue

23

Demo - Instalando Apache Zeppelin

24

Creaci贸n del Developer Endpoint

25

Demo - Conectando nuestro developer Endpoint a nuestro Zeppelin Edpoint

26

Demo - Creando nuestro primer ETL - Crawling

27

Demo - Creando nuestro primer ETL - Ejecuci贸n

28

Demo - Creando nuestro primer ETL - Carga

29

AWS - EMR

30

Demo - Desplegando nuestro primer cl煤ster con EMR

31

Demo - Conect谩ndonos a Apache Zeppelin en EMR

32

Demo- Despliegue autom谩tico de EMR con cloudformation

33

AWS - Lambda

34

Ejemplos AWS- Lambda

35

Demo - Creando una lambda para BigData

Carga de Informaci贸n

36

AWS - Athena

37

Demo - Consultando data con Athena

38

AWS - RedShift

39

Demo - Creando nuestro primer cl煤ster de RedShift

40

AWS - Lake Formation

Consumo de informaci贸n

41

AWS - ElasticSearch

42

Demo - Creando nuestro primer cl煤ster de ElasticSearch

43

AWS - Kibana

44

AWS - QuickSight

45

Demo - Visualizando nuestra data con QuickSight

Seguridad, Orquestaci贸n y Automatizaci贸n

46

Seguridad en los Datos

47

AWS Macie

48

Demo - Configurando AWS Macie

49

Apache Airflow

50

Demo - Creando nuestro primer cl煤ster en Cloud Composer

51

Arquitectura de referencia

Clase p煤blica

52

驴Qu茅 es Big Data?

No tienes acceso a esta clase

隆Contin煤a aprendiendo! 脷nete y comienza a potenciar tu carrera

Curso de Big Data en AWS

Curso de Big Data en AWS

Carlos Andr茅s Zambrano Barrera

Carlos Andr茅s Zambrano Barrera

Arquitectura Batch

8/52
Recursos

Esta arquitectura es una parte espec铆fica de la arquitectura Lambda.

Es importante comprender que en esta arquitectura vamos a tener un Input, un proceso y un Output, estos tres orquestados por un sistema donde el Input y Output deben de conectarse a una base de datos.

Aportes 13

Preguntas 1

Ordenar por:

驴Quieres ver m谩s aportes, preguntas y respuestas de la comunidad?

o inicia sesi贸n.

Comparto una lectura complementaria al contenido presentado sobre las arquitecturas:

https://www.paradigmadigital.com/techbiz/de-lambda-a-kappa-evolucion-de-las-arquitecturas-big-data/

Me encanta la manera en que estas manejando los conceptos, vengo en 0s jajaja

Batch es una parte espec铆fica de la arquitectura Lambda.
Es muy importante conocer de Batch para comprender en detalle qu茅 pasa dentro de ella.

La arquitectura Batch se basa en una entrada de informaci贸n, un procesamiento y una salida, todas estas tres tareas orquestadas por un sistema; tambi茅n lleva consigo un sistema de almacenamiento, ya que maneja entrada y salida de informaci贸n.

La arquitectura Bash se fundamenta en procesar informaci贸n desde un momento espec铆fico hacia atr谩s; por ejemplo, la informaci贸n recolectada el d铆a de ayer es procesada hoy.

Caracter铆sticas:

  1. Se puede procesar informaci贸n hist贸rica.
  2. Se puede re-procesar informaci贸n hist贸rica.
  3. Pueden ser alimentados diversos sistemas de visualizaci贸n con la informaci贸n procesada.

Esta arquitectura sera ideal para modelos de Machine Learning donde constantemente se tienen datos de entrada que se deben procesar para dar como resultado una salida? Por ejemplo, para un algoritmo de recomendaci贸n.

Arquitectura Batch puedo ver informaci贸n no en tiempo real, sino de hoy hacia atras.

para. conocer mas sobre arquitectura batch
video

Es muy bueno ejemplificar las tecnolog铆as, se hace m谩s f谩cil entender estos conceptos. Muy bueno el curso 馃殌馃敟馃挭馃徏
Perfecto. Entendido. 3 arquitecturas para necesidades puntuales.

muy bueno el contenido!

Esta arquitectura es una parte espec铆fica de la arquitectura Lambda.

Es importante comprender que en esta arquitectura vamos a tener un Input, un proceso y un Output, estos tres orquestados por un sistema donde el Input y Output deben de conectarse a una base de datos.

In the previous chapters you saw that many different jobs could form part of the overall batch solution. Chapter 13 defined the functional batch jobs specifically required by the case study. You鈥檝e also seen the high-level mechanics of using a formal batch scheduler.

Figure 16-1 depicts a 鈥渂atch鈥 architecture that doesn鈥檛 make use of a formal batch scheduler

Batch Architecture

System>
Input/Process /output > printer
掳! !
Database 掳!