Comparto una lectura complementaria al contenido presentado sobre las arquitecturas:
https://www.paradigmadigital.com/techbiz/de-lambda-a-kappa-evolucion-de-las-arquitecturas-big-data/
Bienvenida e introducción al curso
Iniciando con Big Data
Cloud Computing en proyectos de BigData
Introducción al manejo de datos en Cloud
Datos en Cloud
¿Qué nube debería utilizar en mi proyecto de Big Data?
Arquitecturas
Arquitecturas Lambda
Arquitectura Kappa
Arquitectura Batch
Extracción de información
Llevar tu información al cloud
Demo - Creando nuestro IDE en la nube con Python - Boto3
¿Cómo usar Boto3?
API Gateway
Storage Gateway
Kinesis Data Streams
Configuración de Kinesis Data Streams
Demo - Despegando Kinesis con Cloudformation
Kinesis Firehose
Demo - Configuración de Kinesis Firehose
Reto - Configurando Kinesis Firehose
AWS - MSK
Demo - Despliegue de un clúster con MSK
Transformación de Información
AWS - Glue
Demo - Instalando Apache Zeppelin
Creación del Developer Endpoint
Demo - Conectando nuestro developer Endpoint a nuestro Zeppelin Edpoint
Demo - Creando nuestro primer ETL - Crawling
Demo - Creando nuestro primer ETL - Ejecución
Demo - Creando nuestro primer ETL - Carga
AWS - EMR
Demo - Desplegando nuestro primer clúster con EMR
Demo - Conectándonos a Apache Zeppelin en EMR
Demo- Despliegue automático de EMR con cloudformation
AWS - Lambda
Ejemplos AWS- Lambda
Demo - Creando una lambda para BigData
Carga de Información
AWS - Athena
Demo - Consultando data con Athena
AWS - RedShift
Demo - Creando nuestro primer clúster de RedShift
AWS - Lake Formation
Consumo de información
AWS - ElasticSearch
Demo - Creando nuestro primer clúster de ElasticSearch
AWS - Kibana
AWS - QuickSight
Demo - Visualizando nuestra data con QuickSight
Seguridad, Orquestación y Automatización
Seguridad en los Datos
AWS Macie
Demo - Configurando AWS Macie
Apache Airflow
Demo - Creando nuestro primer clúster en Cloud Composer
Arquitectura de referencia
Clase pública
¿Qué es Big Data?
No tienes acceso a esta clase
¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera
Si ya tienes una cuenta,
Iniciar sesión
Arquitectura Batch
8/52Recursos
Esta arquitectura es una parte específica de la arquitectura Lambda.
Es importante comprender que en esta arquitectura vamos a tener un Input, un proceso y un Output, estos tres orquestados por un sistema donde el Input y Output deben de conectarse a una base de datos.
Aportes 13
Preguntas 1
Ordenar por:
Me encanta la manera en que estas manejando los conceptos, vengo en 0s jajaja
Batch es una parte específica de la arquitectura Lambda.
Es muy importante conocer de Batch para comprender en detalle qué pasa dentro de ella.
La arquitectura Batch se basa en una entrada de información, un procesamiento y una salida, todas estas tres tareas orquestadas por un sistema; también lleva consigo un sistema de almacenamiento, ya que maneja entrada y salida de información.
La arquitectura Bash se fundamenta en procesar información desde un momento específico hacia atrás; por ejemplo, la información recolectada el día de ayer es procesada hoy.
Características:
- Se puede procesar información histórica.
- Se puede re-procesar información histórica.
- Pueden ser alimentados diversos sistemas de visualización con la información procesada.
Esta arquitectura sera ideal para modelos de Machine Learning donde constantemente se tienen datos de entrada que se deben procesar para dar como resultado una salida? Por ejemplo, para un algoritmo de recomendación.
Arquitectura Batch puedo ver información no en tiempo real, sino de hoy hacia atras.
para. conocer mas sobre arquitectura batch
video
Es muy bueno ejemplificar las tecnologías, se hace más fácil entender estos conceptos. Muy bueno el curso 🚀🔥💪🏼
Perfecto. Entendido. 3 arquitecturas para necesidades puntuales.
muy bueno el contenido!
Esta arquitectura es una parte específica de la arquitectura Lambda.
Es importante comprender que en esta arquitectura vamos a tener un Input, un proceso y un Output, estos tres orquestados por un sistema donde el Input y Output deben de conectarse a una base de datos.
In the previous chapters you saw that many different jobs could form part of the overall batch solution. Chapter 13 defined the functional batch jobs specifically required by the case study. You’ve also seen the high-level mechanics of using a formal batch scheduler.
Figure 16-1 depicts a “batch” architecture that doesn’t make use of a formal batch scheduler
Batch Architecture
System>
Input/Process /output > printer
°! !
Database °!
¿Quieres ver más aportes, preguntas y respuestas de la comunidad?
o inicia sesión.