Bienvenida e introducci贸n al curso

1

Iniciando con Big Data

2

Cloud Computing en proyectos de BigData

3

Introducci贸n al manejo de datos en Cloud

4

Datos en Cloud

5

驴Qu茅 nube deber铆a utilizar en mi proyecto de Big Data?

Arquitecturas

6

Arquitecturas Lambda

7

Arquitectura Kappa

8

Arquitectura Batch

Extracci贸n de informaci贸n

9

Llevar tu informaci贸n al cloud

10

Demo - Creando nuestro IDE en la nube con Python - Boto3

11

驴C贸mo usar Boto3?

12

API Gateway

13

Storage Gateway

14

Kinesis Data Streams

15

Configuraci贸n de Kinesis Data Streams

16

Demo - Despegando Kinesis con Cloudformation

17

Kinesis Firehose

18

Demo - Configuraci贸n de Kinesis Firehose

19

Reto - Configurando Kinesis Firehose

20

AWS - MSK

21

Demo - Despliegue de un cl煤ster con MSK

Transformaci贸n de Informaci贸n

22

AWS - Glue

23

Demo - Instalando Apache Zeppelin

24

Creaci贸n del Developer Endpoint

25

Demo - Conectando nuestro developer Endpoint a nuestro Zeppelin Edpoint

26

Demo - Creando nuestro primer ETL - Crawling

27

Demo - Creando nuestro primer ETL - Ejecuci贸n

28

Demo - Creando nuestro primer ETL - Carga

29

AWS - EMR

30

Demo - Desplegando nuestro primer cl煤ster con EMR

31

Demo - Conect谩ndonos a Apache Zeppelin en EMR

32

Demo- Despliegue autom谩tico de EMR con cloudformation

33

AWS - Lambda

34

Ejemplos AWS- Lambda

35

Demo - Creando una lambda para BigData

Carga de Informaci贸n

36

AWS - Athena

37

Demo - Consultando data con Athena

38

AWS - RedShift

39

Demo - Creando nuestro primer cl煤ster de RedShift

40

AWS - Lake Formation

Consumo de informaci贸n

41

AWS - ElasticSearch

42

Demo - Creando nuestro primer cl煤ster de ElasticSearch

43

AWS - Kibana

44

AWS - QuickSight

45

Demo - Visualizando nuestra data con QuickSight

Seguridad, Orquestaci贸n y Automatizaci贸n

46

Seguridad en los Datos

47

AWS Macie

48

Demo - Configurando AWS Macie

49

Apache Airflow

50

Demo - Creando nuestro primer cl煤ster en Cloud Composer

51

Arquitectura de referencia

Clase p煤blica

52

驴Qu茅 es Big Data?

No tienes acceso a esta clase

隆Contin煤a aprendiendo! 脷nete y comienza a potenciar tu carrera

Curso de Big Data en AWS

Curso de Big Data en AWS

Carlos Andr茅s Zambrano Barrera

Carlos Andr茅s Zambrano Barrera

Datos en Cloud

4/52
Recursos

Hay algunos puntos importantes que debemos tener en cuenta al momento de manejar nuestra data en un servicio en la nube:

  • Debemos seleccionar el servicio que mejor se ajuste a nuestras necesidades de almacenamiento.
  • Lo primero que debemos hacer es extraer de otras fuentes la informaci贸n que vamos a necesitar.
  • Debemos validar nuestra informaci贸n, verificar que sea consistente.
  • Verificar los tipos de datos que vamos a extraer.
  • Al momento de realizar pruebas a nuestra informaci贸n debemos utilizar un subset de la data.

Aportes 9

Preguntas 3

Ordenar por:

驴Quieres ver m谩s aportes, preguntas y respuestas de la comunidad?

o inicia sesi贸n.

Una forma muy clara y eficiente de explicar. Gracias.

En los diferentes Cloud Providers y en los diferentes servicios que tenemos a nuestra disposici贸n para almacenar informaci贸n, tenemos una variedad muy grande; por lo cual, debemos tener en cuenta:

  • Almacenamiento: Debemos seleccionar el mejor servicio que se ajuste a nuestro proyecto.
  • Extracci贸n: Desde el Cloud Provider, nos conectarnos a las distintas fuentes de informaci贸n y extraemos datos.
  • Ingesta: Podemos hacer que una fuente de datos alimente el Cloud, donde previamente debemos escoger servicios que reciban dicha informaci贸n para posteriormente procesarla.
  • Validaci贸n: Esta es la validaci贸n de la informaci贸n. Debemos proporcionar algunas caracter铆sticas bien definidas y unas garant铆as para que esa informaci贸n sea precisa y consistente (debemos garantizar la consistencia de la informaci贸n).
  • Verificaci贸n: En esta fase debemos verificar los distintos tipos de datos; debemos enfocarnos en el tipo de dato, su exactitud y que no tenga inconsistencias.
  • Tests: Usualmente en este tipo de proyectos, en donde procesamos grandes masas (vol煤menes gigantezcos) de informaci贸n, siempre debemos hacer pruebas sobre un subset de toda la informaci贸n, tomando un porcentaje de la informaci贸n, en donde verificamos que nuestro sistema y arquitectura est茅 trabajando de la forma correcta: transformando bien, extrayendo bien la informaci贸n, una visualizaci贸n correcta, etc.

Si tenemos data sensible no se podr谩 llevar tan f谩cilmente a Cloud, como ejemplo tenemos Ley de Protecci贸n de Datos (una de los tantas leyes que existen actualmente)

Gracias por explicar de forma tan clara.

video pls鈥

Debemos seleccionar el servicio que mejor se ajuste a nuestras necesidades de almacenamiento.
Lo primero que debemos hacer es extraer de otras fuentes la informaci贸n que vamos a necesitar.
Debemos validar nuestra informaci贸n, verificar que sea consistente.
Verificar los tipos de datos que vamos a extraer.
Al momento de realizar pruebas a nuestra informaci贸n debemos utilizar un subset de la data.

Excelente explicaci贸n, los procesos que siguen los datos, extracci贸n, verificaci贸n y validaci贸n

Es muy bueno ahora poder tener a la mano tantas tecnolog铆as y sin tener que comprar todo el servidor

Entender cual de los servicios nos va a servir en nuestro proyecto o simulacion