Bienvenida e introducción al curso

1

Iniciando con Big Data

2

Cloud Computing en proyectos de BigData

3

Introducción al manejo de datos en Cloud

4

Datos en Cloud

5

¿Qué nube debería utilizar en mi proyecto de Big Data?

Arquitecturas

6

Arquitecturas Lambda

7

Arquitectura Kappa

8

Arquitectura Batch

Extracción de información

9

Llevar tu información al cloud

10

Demo - Creando nuestro IDE en la nube con Python - Boto3

11

¿Cómo usar Boto3?

12

API Gateway

13

Storage Gateway

14

Kinesis Data Streams

15

Configuración de Kinesis Data Streams

16

Demo - Despegando Kinesis con Cloudformation

17

Kinesis Firehose

18

Demo - Configuración de Kinesis Firehose

19

Reto - Configurando Kinesis Firehose

20

AWS - MSK

21

Demo - Despliegue de un clúster con MSK

Transformación de Información

22

AWS - Glue

23

Demo - Instalando Apache Zeppelin

24

Creación del Developer Endpoint

25

Demo - Conectando nuestro developer Endpoint a nuestro Zeppelin Edpoint

26

Demo - Creando nuestro primer ETL - Crawling

27

Demo - Creando nuestro primer ETL - Ejecución

28

Demo - Creando nuestro primer ETL - Carga

29

AWS - EMR

30

Demo - Desplegando nuestro primer clúster con EMR

31

Demo - Conectándonos a Apache Zeppelin en EMR

32

Demo- Despliegue automático de EMR con cloudformation

33

AWS - Lambda

34

Ejemplos AWS- Lambda

35

Demo - Creando una lambda para BigData

Carga de Información

36

AWS - Athena

37

Demo - Consultando data con Athena

38

AWS - RedShift

39

Demo - Creando nuestro primer clúster de RedShift

40

AWS - Lake Formation

Consumo de información

41

AWS - ElasticSearch

42

Demo - Creando nuestro primer clúster de ElasticSearch

43

AWS - Kibana

44

AWS - QuickSight

45

Demo - Visualizando nuestra data con QuickSight

Seguridad, Orquestación y Automatización

46

Seguridad en los Datos

47

AWS Macie

48

Demo - Configurando AWS Macie

49

Apache Airflow

50

Demo - Creando nuestro primer clúster en Cloud Composer

51

Arquitectura de referencia

Clase pública

52

¿Qué es Big Data?

Crea una cuenta o inicia sesión

¡Continúa aprendiendo sin ningún costo! Únete y comienza a potenciar tu carrera

Curso de Big Data en AWS

Curso de Big Data en AWS

Carlos Andrés Zambrano Barrera

Carlos Andrés Zambrano Barrera

Introducción al manejo de datos en Cloud

3/52
Recursos

Algunos puntos para tomar en cuenta al momento de iniciar en el manejo de datos en la nube, sin importar qué servicio utilices, son:

  • Cuando trabajas en la nube puedes tener un crecimiento completamente escalable, iniciando desde MB hasta EB.
  • A medida que tu aplicación crezca puedes ir escalando el procesamiento de datos en la nube.
  • En Cloud tienes acceso a un gran nivel de eficiencia a un bajo costo, solamente te van a cobrar mientras utilices las herramientas.
  • Existen muchos servicios de procesamiento en la nube, escoge el que más se acomode a tus necesidades.

Aportes 12

Preguntas 2

Ordenar por:

¿Quieres ver más aportes, preguntas y respuestas de la comunidad?

o inicia sesión.

Hybrid cloud is a cloud computing environment that uses a mix of:

  • on-premises

  • private cloud and

  • third-party, public cloud services

with orchestration between the platforms.

Una **nube híbrida **es una combinación de uno o más entornos de nube pública y privada.

Es un conjunto de recursos virtuales —desarrollados a partir de hardware que es propiedad de una empresa de terceros y que es administrado por ella, y de hardware que pertenece a la empresa que utiliza la nube— orquestados por software de administración y automatización que permite que los usuarios puedan acceder a los recursos a pedido a través de los portales de autoservicio que reciben el soporte del escalado automático y de la asignación dinámica de recursos.

Esta última parte fue tomada de “Red Hat”

https://www.redhat.com/es/topics/cloud-computing/what-is-hybrid-cloud

Aspectos importante a tener en cuenta cuando comencemos un proyecto en BigData (son totalmente transparentes y aplican a cualquier Cloud Provider):

  • Cantidad: Cuando trabajamos en la nube, podemos tener un crecimiento completamente escalable (MB -> GB -> TB -> PB-> EB), y una de las ventajas que nos dan los Cloud Providers es que nos soportan el procesamiento de estas grandes cantidades de datos.
  • Escalabilidad: Crecimiento por demanda. El Cloud Provider nos permite tener escalabilidad en los servicios que tenemos en la nube. Con esto, a medida que nuestra aplicación crezca, el procesamiento de datos también crece de forma automática.
  • Automatización: Nos permite entender y orquestar todos los servicios de forma que puedan ejecutarse automáticamente (con el fin de quitarnos carga administrativa como administradores de la nube).
  • Eficiencia: En la nube tenemos al alcance diferentes servicios de BigData.
  • Ahorros: En las arquitecturas más importantes lo que buscamos es que el costo de los servicios sea por demanda.
  • Flexibilidad: Hay muchos Cloud Providers (GCP, AWS, Azure, etc.). Dentro de cada uno, hay una variedad de servicios para BigData; dentro de cada servicio, hay diferentes tipos de configuración. También se pueden hacer migraciones, o trabajos multi-cloud con estos Cloud Providers sin perder información, seguridad, etc.

Claro y conciso 👌

La data puede ser relacionado de lo que sea ¿

El aprovisionamiento nos ayuda demasiado, para poder escalar rápidamente.

Automatización de procesos, solo cuando la información este en la Nube o se puede automatizar y orquestar cuando la información llegue a on-premise y luego hacer todo el proceso??

Ha sido una gran clase porque aprendí un nuevo concepto que no imaginaba: Multi-Cloud. En un mundo globalizado, es muy importante trabajar con los datos de varias/múltiples Nubes de forma clara, transparente y/o segura.

Cuando trabajas en la nube puedes tener un crecimiento completamente escalable, iniciando desde MB hasta EB.
A medida que tu aplicación crezca puedes ir escalando el procesamiento de datos en la nube.
En Cloud tienes acceso a un gran nivel de eficiencia a un bajo costo, solamente te van a cobrar mientras utilices las herramientas.
Existen muchos servicios de procesamiento en la nube, escoge el que más se acomode a tus necesidades.

La data puede ser relacionado de lo que sea ?
Super. Esta muy interesante

Escuche bien? podria migrar mi proyecto a otra proveedor de nube si hago en aws y luego quiero migrar a la nube de google?

interesante intro