Bienvenida e introducci贸n al curso

1

Iniciando con Big Data

2

Cloud Computing en proyectos de BigData

3

Introducci贸n al manejo de datos en Cloud

4

Datos en Cloud

5

驴Qu茅 nube deber铆a utilizar en mi proyecto de Big Data?

Arquitecturas

6

Arquitecturas Lambda

7

Arquitectura Kappa

8

Arquitectura Batch

Extracci贸n de informaci贸n

9

Llevar tu informaci贸n al cloud

10

Demo - Creando nuestro IDE en la nube con Python - Boto3

11

驴C贸mo usar Boto3?

12

API Gateway

13

Storage Gateway

14

Kinesis Data Streams

15

Configuraci贸n de Kinesis Data Streams

16

Demo - Despegando Kinesis con Cloudformation

17

Kinesis Firehose

18

Demo - Configuraci贸n de Kinesis Firehose

19

Reto - Configurando Kinesis Firehose

20

AWS - MSK

21

Demo - Despliegue de un cl煤ster con MSK

Transformaci贸n de Informaci贸n

22

AWS - Glue

23

Demo - Instalando Apache Zeppelin

24

Creaci贸n del Developer Endpoint

25

Demo - Conectando nuestro developer Endpoint a nuestro Zeppelin Edpoint

26

Demo - Creando nuestro primer ETL - Crawling

27

Demo - Creando nuestro primer ETL - Ejecuci贸n

28

Demo - Creando nuestro primer ETL - Carga

29

AWS - EMR

30

Demo - Desplegando nuestro primer cl煤ster con EMR

31

Demo - Conect谩ndonos a Apache Zeppelin en EMR

32

Demo- Despliegue autom谩tico de EMR con cloudformation

33

AWS - Lambda

34

Ejemplos AWS- Lambda

35

Demo - Creando una lambda para BigData

Carga de Informaci贸n

36

AWS - Athena

37

Demo - Consultando data con Athena

38

AWS - RedShift

39

Demo - Creando nuestro primer cl煤ster de RedShift

40

AWS - Lake Formation

Consumo de informaci贸n

41

AWS - ElasticSearch

42

Demo - Creando nuestro primer cl煤ster de ElasticSearch

43

AWS - Kibana

44

AWS - QuickSight

45

Demo - Visualizando nuestra data con QuickSight

Seguridad, Orquestaci贸n y Automatizaci贸n

46

Seguridad en los Datos

47

AWS Macie

48

Demo - Configurando AWS Macie

49

Apache Airflow

50

Demo - Creando nuestro primer cl煤ster en Cloud Composer

51

Arquitectura de referencia

Clase p煤blica

52

驴Qu茅 es Big Data?

Curso de Big Data en AWS

Curso de Big Data en AWS

Carlos Andr茅s Zambrano Barrera

Carlos Andr茅s Zambrano Barrera

Demo - Creando nuestro IDE en la nube con Python - Boto3

10/52
Recursos

Vamos a utilizar el servicio de Cloud de Amazon para este curso, espec铆ficamente para esta demo usaremos el SDK de AWS para Python.

Python es una gran opci贸n para procesamiento de datos ya que cuenta con librer铆as como Pandas, Anaconda PyBrain, NumPy.

Aportes 25

Preguntas 6

Ordenar por:

Los aportes, preguntas y respuestas son vitales para aprender en comunidad. Reg铆strate o inicia sesi贸n para participar.

Para aquellos que quieren trabajar con python 3.3+ y al momento de correr el script les sale un error de que el m贸dulo boto3 no est谩. Deben correr en la consola (bash) : sudo pip-3.6 install boto3
馃榿

Tienes q instalar boto3
Para ello tienes que saber que version de python tienes "pyhton --version"
Si tienes la 3 "pip3 install boto3"
Si tienes la 2 鈥減ip install boto3鈥

Para aquellos que les aparece el error de que necesita instalar boto3, probar con:

pip install boto3

si no funciona, probar:

pip3 install boto3

si no funciona por este error:
PermissionError: [Errno 13] Permission denied: '/usr/local/lib/python3.7/site-packages/botocore-1.20.41.dist-info/INSTALLER鈥
usar:

python -m pip install --user boto3

Espero les sirva,
Un abrazo!

Como puedo poner en pr谩ctica esta clase.. habra una cuenta gratuita o comunitaria? 馃槦

Tambien podemos pedir que se digit茅 el nombre de la region

import boto3 
import sys
import botocore

region = 'us-east-1'
#region = str(input("Digita "))
#us-east-1

s3 = boto3.client(
's3',
region_name = region)

response = s3.list_buckets()

print(response)```

Lo que llevo hasta el momento de este curso me ha ense帽ado profunda y claramente. Yo tengo algo de fundamentos en AWS y en Python, lo cual creo que es necesario para este curso.
Muy claro y muy bueno.

si desde el batch console corro este comando:
**ec2-user:~/environment $ aws s3 ls **
me muestra la lista de buckets que tengo creado en s3

sin embargo si corro el codigo python:
** s3.py us-east-1c**
Me sale este error:
botocore.exceptions.EndpointConnectionError: Could not connect to the endpoint URL: 鈥https://s3.us-east-1c.amazonaws.com/

"tengo configurado un IAM role con los permisos"
Alguien sabe que puede ser??

Cloud9 - IDE en la nube

En la configuraci贸n de aWS me pide una credit card. 驴Existe alguna plataforma donde se pueda hacer esta prueba de manera gratuita? Para las personas que deseen aprender pero no cuentan con una credit card , que est茅n estudiando por su cuenta鈥

disculpen la consulta pero se podra seguir el curso con la cuenta free?

como se crean los roles?

no me lista los buckets鈥 como le hago?

buenas tardes
No me muestra los buckets y ya he creado el rol y asignado a EC2 en cloud9.
Que configuraci贸n me puede estar faltando?

Vamos a utilizar el servicio de Cloud de Amazon para este curso, espec铆ficamente para esta demo usaremos el SDK de AWS para Python.

Python es una gran opci贸n para procesamiento de datos ya que cuenta con librer铆as como Pandas, Anaconda PyBrain, NumPy.

No olviden instalar Boto3

Con la suscripci贸n en la capa gratuita podre completar las demos del curso? Gracias por su respuesta

Que puedo hacer si no quiero ingresar mi tarjeta en aws , y tener acceso a la nube?

Python dispone de librer铆as e integraci贸n especiales dentro de AWS

no me funciona. no re conoce la region

Escoger en las opciones de AWS al crear la mas sensilla y que no tiene costo. si no te van acobrar al final del mes.

import boto3
import sys
import botocore

region = sys.argv[1]

s3 = boto3.client(
鈥榮3鈥,
region_name = region
)

response = s3.list_buckets()
print (response)

excelente clase

Precios de AWS Cloud9
No se aplican cargos adicionales para AWS Cloud9. Si utiliza una instancia Amazon EC2 en su entorno de desarrollo de AWS Cloud9, solo pagar谩 por los recursos inform谩ticos y de almacenamiento (p. ej., una instancia EC2, un volumen de EBS ) que se utilizan para ejecutar y almacenar el c贸digo. Tambi茅n puede conectar el entorno de desarrollo de AWS Cloud9 con un servidor Linux existente (p. ej., un servidor local) mediante SSH sin cargos adicionales.
.
Solo pagar谩 por lo que consuma y a medida que lo haga: no se requieren pagos m铆nimos ni compromisos iniciales. Se le cobran las tarifas normales de AWS para cualquier recurso de AWS (por ej., funciones de AWS Lambda) que cree o use dentro del entorno de desarrollo de AWS Cloud9.
.
Los clientes nuevos de AWS que re煤nan los requisitos para la capa gratuita de AWS pueden usar AWS Cloud9 sin cargo. Si el uso del entorno de AWS Cloud9 excede los l铆mites de la capa gratuita, se le cobrar谩n las tarifas normales de AWS para dichos recursos.
.
Fuente: https://aws.amazon.com/es/cloud9/pricing/

Excelente clase. Muy bien explicado cada uno de los detalles