Bienvenida e introducción al curso
Iniciando con Big Data
Cloud Computing en proyectos de BigData
Introducción al manejo de datos en Cloud
Datos en Cloud
¿Qué nube debería utilizar en mi proyecto de Big Data?
Arquitecturas
Arquitecturas Lambda
Arquitectura Kappa
Arquitectura Batch
Extracción de información
Llevar tu información al cloud
Demo - Creando nuestro IDE en la nube con Python - Boto3
¿Cómo usar Boto3?
API Gateway
Storage Gateway
Kinesis Data Streams
Configuración de Kinesis Data Streams
Demo - Despegando Kinesis con Cloudformation
Kinesis Firehose
Demo - Configuración de Kinesis Firehose
Reto - Configurando Kinesis Firehose
AWS - MSK
Demo - Despliegue de un clúster con MSK
Transformación de Información
AWS - Glue
Demo - Instalando Apache Zeppelin
Creación del Developer Endpoint
Demo - Conectando nuestro developer Endpoint a nuestro Zeppelin Edpoint
Demo - Creando nuestro primer ETL - Crawling
Demo - Creando nuestro primer ETL - Ejecución
Demo - Creando nuestro primer ETL - Carga
AWS - EMR
Demo - Desplegando nuestro primer clúster con EMR
Demo - Conectándonos a Apache Zeppelin en EMR
Demo- Despliegue automático de EMR con cloudformation
AWS - Lambda
Ejemplos AWS- Lambda
Demo - Creando una lambda para BigData
Carga de Información
AWS - Athena
Demo - Consultando data con Athena
AWS - RedShift
Demo - Creando nuestro primer clúster de RedShift
AWS - Lake Formation
Consumo de información
AWS - ElasticSearch
Demo - Creando nuestro primer clúster de ElasticSearch
AWS - Kibana
AWS - QuickSight
Demo - Visualizando nuestra data con QuickSight
Seguridad, Orquestación y Automatización
Seguridad en los Datos
AWS Macie
Demo - Configurando AWS Macie
Apache Airflow
Demo - Creando nuestro primer clúster en Cloud Composer
Arquitectura de referencia
Clase pública
¿Qué es Big Data?
Aún no tienes acceso a esta clase
Crea una cuenta y continúa viendo este curso
Si ya tienes una cuenta,
Iniciar sesión
¿Cómo usar Boto3?
11/52Aportes 12
Preguntas 1
Enlace al repositorio de GitHub sobre Boto3-Athena del instructor Carlos:
• https://github.com/czam01/boto3-athena
lo que me funcionó:
import boto3
import sys
import botocore
region = 'eu-west-3' #<-- esto dependerá de tu región donde está tu instancia EC2
s3 = boto3.client(
's3',
region_name = region
)
response = s3.list_buckets()
print(response)
En la parte del ‘Command:’
python3 s3
Espero ahorrarme el coste de cloud9 usando una VM local, con python3, hasta el momento corrió bien el primer script
esto si es gratuito?, al hacer elk ejercicios cre que me hicieron algun cobro
no es nada, pero me preocupa seguir con el curso y que vaya a usar alguna herramienta que a la fecha de hoy sea de pago,
vast documentation made by Aws, outstanding hint
donde es que se en cual región estoy trabajando?
La arquitectura Lambda es atribuida a Nathan Marz, diseñada para ser escalable, tolerante a fallos y de alto procesamiento de datos.
Tiene una gran robustez, puede procesar una alta cantidad de datos. Esta compuesta por tres capas:
Batch: En esta capa vamos a procesar toda la información almacenada con anterioridad, desde el día anterior hasta meses.
Serve: Dentro de esta capa es posible visualizar la data procesada de la capa batch.
Speed: Con forme llega la data se va a ir procesando.
AWS ofrece también un sdk oficial para php: https://github.com/awslabs/aws-sdk-php-resources
Con Boto3 conectamos utilzando python a los servicios de AWS
¿Quieres ver más aportes, preguntas y respuestas de la comunidad? Crea una cuenta o inicia sesión.