- 1
Big Data en la Nube: Análisis, Transformación y Seguridad
00:40 - 2

Transformación de Datos en Cloud: Automatización y Seguridad
01:32 - 3

Big Data en la Nube: Escalabilidad, Automatización y Eficiencia
04:30 - 4

Almacenamiento y Procesamiento de Datos en la Nube
04:09 - 5
Comparativa de AWS y GCP para proyectos BigData
01:17
Despliegue de Kinesis con AWS CloudFormation
Clase 16 de 52 • Curso de Big Data en AWS
Contenido del curso
- 9

Extracción de Datos a la Nube: Estrategias y Herramientas
02:21 - 10

Uso de Python y AWS Cloud9 para Proyectos de Big Data
10:16 - 11

Uso de Boto3 para Servicios AWS en Python
03:56 - 12

Integración de AWS API Gateway en Proyectos de Big Data
03:40 - 13

Uso de Storage Gateway para Integración de Datos en la Nube
03:13 - 14

Procesamiento de Datos en Tiempo Real con AWS Kinesis Data Stream
05:53 - 15

Creación de Kinesis Data Streams en AWS
06:50 - 16

Despliegue de Kinesis con AWS CloudFormation
10:42 - 17

Entrega y Transformación de Datos con Kinesis Firehose en AWS
03:27 - 18

Configuración de Kinesis Firehose en AWS paso a paso
05:45 - 19
Configuración Básica de Amazon Kinesis Firehose en AWS
02:53 - 20

AWS MSK: Implementación y Gestión de Apache Kafka en la Nube
03:42 - 21

Despliegue de Clúster MSK en AWS paso a paso
07:21
- 22

Transformación de Datos con AWS Glue: ETL y Catálogo de Metadatos
06:33 - 23

Instalación y Configuración de Apache Zeppelin para AWS Glue
04:49 - 24

Configuración de Developer Endpoint en AWS Glue para Apache Zeppelin
05:38 - 25

Conexión y configuración de Apache Zeppelin para ETL en AWS
08:29 - 26

Creación de un ETL con AWS Glue: Crawlers y Catalogación de Datos
08:15 - 27

Configuración y Ejecución de ETL en AWS Glue paso a paso
08:00 - 28

Creación y Ejecución de ETL con AWS Glue y S3
10:23 - 29

Procesamiento de Datos con EMR en AWS
05:30 - 30

Creación de un clúster EMR en AWS paso a paso
09:01 - 31

Conexión y Configuración de Zeppelin en Clúster EMR
03:18 - 32

Automatización de Clústeres EMR con Plantillas de CloudFormation
06:32 - 33

AWS Lambda en Proyectos de Big Data en Tiempo Real
07:02 - 34

Uso de Lambda en Arquitecturas de Big Data Real Time y Batch
04:54 - 35

Configuración de Funciones Lambda para Big Data en AWS
07:16
- 36

Consultas SQL en Big Data con AWS Athena y S3
04:50 - 37

Consultas SQL en S3 con AWS Athena y Glue Catalog
04:05 - 38

AWS Redshift: Almacenamiento y Análisis de Datos Masivos
06:37 - 39

Configuración de Amazon Redshift en AWS paso a paso
05:05 - 40

Lake Formation: Automatización y Seguridad en Gestión de Data Lakes
06:20
- 46

Seguridad en Big Data con AWS: Cifrado, Permisos y Monitoreo
03:51 - 47

Seguridad de Datos en AWS con Amazon Macie
07:32 - 48

Habilitación y Configuración de AWS Macie para Gestión de Datos Seguros
06:16 - 49

Orquestación de ETLs con Apache Airflow y Python en Big Data
04:27 - 50

Despliegue y Orquestación de Tareas con Google Cloud Composer
10:03 - 51

Arquitecturas de Big Data en Cloud: Batch y Tiempo Real
05:53
¿Cómo desplegar AWS Kinesis con CloudFormation?
Para quienes buscan automatizar y gestionar recursos en AWS de manera eficiente, utilizar CloudFormation es una estrategia ganadora. CloudFormation ofrece la posibilidad de manejar infraestructuras a través de código, facilitando el despliegue de servicios como AWS Kinesis de forma automatizada. Aquí exploraremos cómo se lleva a cabo este proceso paso a paso.
¿Qué es CloudFormation y cómo lo utilizamos para Kinesis?
CloudFormation es un servicio de AWS que permite crear y gestionar un conjunto de recursos en la nube mediante plantillas en formato YAML o JSON. Es un enfoque que trata la infraestructura como código, permitiendo configuraciones precisas y repetitivas en la nube. Utilizando CloudFormation, podemos definir y desplegar una arquitectura completa, como Kinesis, a partir de un solo script.
Para desplegar un Kinesis Stream, comenzamos con una plantilla maestra escrita en YAML, donde definimos los parámetros y recursos necesarios:
- Environment Name: Especifica el entorno donde se desplegará Kinesis.
- Kinesis Shards Number: Define la cantidad de shards que queremos crear; por defecto es uno, pero se puede ajustar según necesidades individuales.
¿Cómo estructuramos las plantillas de CloudFormation?
Las plantillas se dividen en dos partes principales: la plantilla maestra y la plantilla de distribución de Kinesis.
-
Plantilla maestra: Define los parámetros básicos como el environment y los shards. Esta plantilla enlaza con una URL que contiene otra plantilla YAML más específica, dedicada al despliegue de Kinesis.
-
Plantilla de Kinesis Distribution: Recibe parámetros de la plantilla maestra y los utiliza para configurar y crear el Kinesis Stream con las propiedades siguientes:
- Nombre del entorno: Añadido al final del recurso para facilitar su identificación.
- Tiempo de retención: Por defecto, se establece en 24 horas.
- Shards: Utiliza el número especificado en la plantilla maestra.
¿Cómo almacenamos y desplegamos las plantillas?
Para manejar efectivamente las plantillas, las almacenamos en un bucket de S3, desde donde CloudFormation las accede durante el proceso de despliegue. El procedimiento es el siguiente:
-
Crear un bucket en S3: Este bucket almacenará las plantillas. Por ejemplo, un nombre para el bucket podría ser
CFN-Kinesis-Lab. -
Cargar las plantillas en el bucket: Subimos la plantilla maestra y la de Kinesis Distribution al bucket recién creado.
¿Cómo se ejecuta el despliegue desde CloudFormation?
Una vez las plantillas están en S3, procedemos al despliegue mediante CloudFormation:
- Buscamos el servicio de CloudFormation en la consola de AWS.
- Creamos un nuevo stack, especificando la ruta de la plantilla maestra almacenada en S3.
- Configuramos el stack: Asignamos un nombre (por ejemplo,
Kinesis Lab Platzi), seleccionamos el environment (como staging) y el número de shards. - Tras completar el proceso, CloudFormation empieza a crear los recursos, y podemos monitorizar el progreso hasta que el estatus indica "create complete".
¿Qué ventajas ofrece este método de despliegue?
El uso de CloudFormation para desplegar servicios como Kinesis tiene múltiples beneficios:
- Control de versiones: Las plantillas pueden estar versionadas y controladas en sistemas como GitHub.
- Reutilización: Las plantillas pueden reutilizarse mediante nested stacks, permitiendo la creación modular de infraestructuras.
- Portabilidad: Las arquitecturas definidas pueden desplegarse fácilmente en diferentes regiones o cuentas de AWS simplemente replicando las plantillas.
Este enfoque permite gestionar arquitecturas complejas y optimiza la manera en que se realizan los despliegues, alineando la infraestructura con las prácticas de DevOps al tratarla como código. Así, te invitamos a seguir explorando y desarrollando tus habilidades con AWS para maximizar el potencial de tus proyectos.