Bienvenida e introducción al curso

1

Iniciando con Big Data

2

Cloud Computing en proyectos de BigData

3

Introducción al manejo de datos en Cloud

4

Datos en Cloud

5

¿Qué nube debería utilizar en mi proyecto de Big Data?

Arquitecturas

6

Arquitecturas Lambda

7

Arquitectura Kappa

8

Arquitectura Batch

Extracción de información

9

Llevar tu información al cloud

10

Demo - Creando nuestro IDE en la nube con Python - Boto3

11

¿Cómo usar Boto3?

12

API Gateway

13

Storage Gateway

14

Kinesis Data Streams

15

Configuración de Kinesis Data Streams

16

Demo - Despegando Kinesis con Cloudformation

17

Kinesis Firehose

18

Demo - Configuración de Kinesis Firehose

19

Reto - Configurando Kinesis Firehose

20

AWS - MSK

21

Demo - Despliegue de un clúster con MSK

Transformación de Información

22

AWS - Glue

23

Demo - Instalando Apache Zeppelin

24

Creación del Developer Endpoint

25

Demo - Conectando nuestro developer Endpoint a nuestro Zeppelin Edpoint

26

Demo - Creando nuestro primer ETL - Crawling

27

Demo - Creando nuestro primer ETL - Ejecución

28

Demo - Creando nuestro primer ETL - Carga

29

AWS - EMR

30

Demo - Desplegando nuestro primer clúster con EMR

31

Demo - Conectándonos a Apache Zeppelin en EMR

32

Demo- Despliegue automático de EMR con cloudformation

33

AWS - Lambda

34

Ejemplos AWS- Lambda

35

Demo - Creando una lambda para BigData

Carga de Información

36

AWS - Athena

37

Demo - Consultando data con Athena

38

AWS - RedShift

39

Demo - Creando nuestro primer clúster de RedShift

40

AWS - Lake Formation

Consumo de información

41

AWS - ElasticSearch

42

Demo - Creando nuestro primer clúster de ElasticSearch

43

AWS - Kibana

44

AWS - QuickSight

45

Demo - Visualizando nuestra data con QuickSight

Seguridad, Orquestación y Automatización

46

Seguridad en los Datos

47

AWS Macie

48

Demo - Configurando AWS Macie

49

Apache Airflow

50

Demo - Creando nuestro primer clúster en Cloud Composer

51

Arquitectura de referencia

Clase pública

52

¿Qué es Big Data?

You don't have access to this class

Keep learning! Join and start boosting your career

Aprovecha el precio especial y haz tu profesión a prueba de IA

Antes: $249

Currency
$209
Suscríbete

Termina en:

0 Días
18 Hrs
23 Min
33 Seg
Curso de Big Data en AWS

Curso de Big Data en AWS

Carlos Andrés Zambrano Barrera

Carlos Andrés Zambrano Barrera

Arquitectura Batch

8/52
Resources

This architecture is a specific part of the Lambda architecture.

It is important to understand that in this architecture we will have an Input, a process and an Output, these three orchestrated by a system where the Input and Output must be connected to a database.

Contributions 13

Questions 1

Sort by:

Want to see more contributions, questions and answers from the community?

Me encanta la manera en que estas manejando los conceptos, vengo en 0s jajaja

Batch es una parte específica de la arquitectura Lambda.
Es muy importante conocer de Batch para comprender en detalle qué pasa dentro de ella.

La arquitectura Batch se basa en una entrada de información, un procesamiento y una salida, todas estas tres tareas orquestadas por un sistema; también lleva consigo un sistema de almacenamiento, ya que maneja entrada y salida de información.

La arquitectura Bash se fundamenta en procesar información desde un momento específico hacia atrás; por ejemplo, la información recolectada el día de ayer es procesada hoy.

Características:

  1. Se puede procesar información histórica.
  2. Se puede re-procesar información histórica.
  3. Pueden ser alimentados diversos sistemas de visualización con la información procesada.

Arquitectura Batch puedo ver información no en tiempo real, sino de hoy hacia atras.

Esta arquitectura sera ideal para modelos de Machine Learning donde constantemente se tienen datos de entrada que se deben procesar para dar como resultado una salida? Por ejemplo, para un algoritmo de recomendación.

Esta arquitectura es una parte específica de la arquitectura Lambda.

Es importante comprender que en esta arquitectura vamos a tener un Input, un proceso y un Output, estos tres orquestados por un sistema donde el Input y Output deben de conectarse a una base de datos.

muy bueno el contenido!

# **🖥️ Arquitectura Batch en Cloud Computing** La **Arquitectura Batch** es un enfoque tradicional para el procesamiento de datos en grandes volúmenes. Se basa en la ejecución de tareas en **lotes** o **bloques** de datos en un periodo determinado, en lugar de procesar cada evento individualmente en tiempo real. ## **📌 ¿Qué es una Arquitectura Batch?** Es un modelo de procesamiento de datos donde los datos se recopilan, almacenan y luego se procesan en **bloques o lotes** en un intervalo específico. 💡 **Ejemplo:** Un banco genera un informe de todas las transacciones realizadas en el día y lo procesa cada noche. ## **🚀 Componentes de una Arquitectura Batch** ### **1️⃣ Capa de Ingesta de Datos** 📌 **Recopila datos de diversas fuentes y los almacena para su posterior procesamiento.** 🔹 **Ejemplos:** * Amazon S3 * Google Cloud Storage * Azure Data Lake ### **2️⃣ Capa de Procesamiento Batch** 📌 **Ejecuta trabajos en lotes periódicamente.** 🔹 **Ejemplos:** * Apache Hadoop * AWS Glue * Google Dataflow * Azure Data Factory ### **3️⃣ Capa de Almacenamiento** 📌 **Guarda los datos procesados para su consulta y análisis.** 🔹 **Ejemplos:** * Amazon Redshift * Google BigQuery * Azure Synapse Analytics ### **4️⃣ Capa de Consumo y Visualización** 📌 **Proporciona acceso a los datos procesados.** 🔹 **Ejemplos:** * Tableau * Power BI * Amazon QuickSight ## **🔄 ¿Cómo funciona una Arquitectura Batch?** 1️⃣ **Se recopilan los datos** en intervalos específicos. 2️⃣ **Se almacenan en un sistema de archivos o base de datos.** 3️⃣ **Se procesan en lotes** mediante herramientas como Apache Spark o AWS Glue. 4️⃣ **Se almacenan los resultados** en un Data Warehouse. 5️⃣ **Se consumen los datos** mediante dashboards o informes. ## **🔹 Casos de Uso de la Arquitectura Batch** ✅ **Procesamiento de grandes volúmenes de datos históricos.** ✅ **Generación de reportes y análisis de tendencias.** ✅ **Carga de datos en Data Warehouses.** ✅ **Procesamiento de facturación y pagos en empresas.** ## **⚖️ Diferencia entre Batch y Streaming** Característica**BatchStreaming**ProcesamientoLotes de datosEvento por eventoLatenciaAlta (horas/días)Baja (segundos)ComplejidadBajaMedia/AltaUso comúnReportes, análisis históricosIoT, Finanzas en tiempo real 💡 **Si necesitas procesamiento periódico de grandes volúmenes de datos, Batch es ideal. Si necesitas datos en tiempo real, usa Streaming.** ## **🌟 Beneficios de la Arquitectura Batch** ✅ **Alta eficiencia en grandes volúmenes de datos.** ✅ **Optimización de recursos, ya que no requiere procesamiento continuo.** ✅ **Facilidad de mantenimiento y escalabilidad.** ✅ **Menor costo en comparación con arquitecturas en tiempo real.** ## **🔎 Conclusión** La **Arquitectura Batch** es ideal cuando se necesita procesar grandes volúmenes de datos de manera eficiente sin la necesidad de respuestas en tiempo real. Se usa en **análisis de datos históricos, reportes y procesos de negocio periódicos**. 🚀

para. conocer mas sobre arquitectura batch
video

Es muy bueno ejemplificar las tecnologías, se hace más fácil entender estos conceptos. Muy bueno el curso 🚀🔥💪🏼
Perfecto. Entendido. 3 arquitecturas para necesidades puntuales.

In the previous chapters you saw that many different jobs could form part of the overall batch solution. Chapter 13 defined the functional batch jobs specifically required by the case study. You’ve also seen the high-level mechanics of using a formal batch scheduler.

Figure 16-1 depicts a “batch” architecture that doesn’t make use of a formal batch scheduler

Batch Architecture

System>
Input/Process /output > printer
°! !
Database °!