Me encanta la manera en que estas manejando los conceptos, vengo en 0s jajaja
Recursos
Resumen
La arquitectura batch es clave para procesar datos de forma confiable y escalable. Aquí entenderás cómo se organiza el flujo de entrada, procesamiento y salida, por qué es parte de la arquitectura lambda y cómo se aplica en la nube con servicios y almacenamientos como cloud storage, S3 o HDFS.
¿Qué es la arquitectura batch y por qué importa?
La arquitectura batch es una pieza específica de arquitectura lambda. Su valor está en comprender a detalle su flujo, ya que más adelante se aplicará en diferentes cloud provider con servicios de procesamiento en lote. La idea central: se orquesta un input, un procesamiento y una salida, conectados a un sistema de almacenamiento.
- El flujo completo debe estar orquestado por un servicio de orquestación de tareas.
- El almacenamiento puede ser una base de datos o servicios como cloud storage, S3 o volúmenes con HDFS.
- Se prioriza claridad en el diseño: entrada → procesamiento → salida.
¿Qué componentes clave la componen?
- Input de información: datos que llegan y se preparan para el lote.
- Procesamiento: tareas definidas y coordinadas por un orquestador.
- Salida: resultados listos para consumo o carga en otros sistemas.
- Almacenamiento: base de datos, cloud storage, S3, HDFS, según el caso de uso.
¿Cómo se procesa la data en batch de hoy hacia atrás?
El enfoque es no en tiempo real: se procesa desde hoy hacia atrás. Por ejemplo, lo que llegó ayer se procesa hoy, y así sucesivamente. Esto habilita varios beneficios operativos.
- Procesamiento histórico: se puede procesar data de cuatro meses sin problema.
- Reprocesamiento: si agregas otra variable, puedes reprocesar información histórica sin inconvenientes.
- Consumo flexible: los resultados pueden alimentar sistemas de visualización u otros servicios.
- Caso de uso específico: ideal cuando el requerimiento no es tiempo real, sino batches periódicos.
¿Qué ventajas ofrece para analítica y operación?
- Mayor control del pipeline y de la calidad de datos.
- Posibilidad de rehacer corridas con nuevas variables o reglas.
- Integración sencilla con herramientas de consumo y reporte.
¿Qué habilidades y conceptos debes dominar para llevarla a la nube?
Para implementar arquitectura batch en la nube se necesitan fundamentos claros que permitan mapearlos a servicios administrados.
- Orquestación de tareas: definir dependencias y ejecutar input → procesamiento → salida.
- Diseño de almacenamiento: elegir entre base de datos, cloud storage, S3 o HDFS según volumen y acceso.
- Procesamiento por lotes: planificar corridas periódicas de hoy hacia atrás.
- Reprocesamiento controlado: volver a ejecutar históricos al agregar variables o reglas.
- Contexto arquitectónico: diferenciar arquitectura lambda, arquitectura Kappa y arquitectura batch, cada una con casos de uso distintos.
Con estas bases, avanzarás a aplicar servicios concretos en los principales cloud provider y pondrás en práctica el procesamiento en batch de extremo a extremo.
¿Quieres compartir cómo orquestas tus procesos en batch o qué almacenes prefieres en la nube? Te leo en los comentarios.
