Arquitectura para Big Data en Cloud

Hoy en día sabemos que podemos contar con servicios como Amazon Web Services, Azure o Google Cloud Platform para realizar cualquier despliegue de datos en la nube, desde montar un sitio web completo, hasta un sistema automatizado sobre reportes de tu aplicación.

La nube vino a cambiarlo todo, entre muchas cosas, hizo de mayor accesibilidad trabajar con Big Data.

Beneficios de usar Cloud Computing para Big Data.

Al trabajar en la nube, el crecimiento de tus datos es totalmente escalable, puedes iniciar con datos almacenados en una cantidad pequeña de megabyte, pasar por gigabyte, terabyte, hasta llegar a las masivas cantidades de datos utilizados en Big Data como son petabyte y exabyte.

Dentro de los costos por almacenar dicha cantidad de datos, solamente te harán cobro por los datos que se encuentren almacenados, si en algún momento pasaste de 10TB a 5TB, empezarán a cobrarte esos 5TB nada más.

Almacenar toda esta información no es una labor fácil, por ello los servicios de Cloud te proporcionan otro beneficio que es automatizar todas tus tareas, para que de manera sencilla tus datos sean procesados de inicio a fin.

Por último, al existir diferentes proveedores de servicio en la nube, cada uno está buscando obtener la mayor cantidad de usuarios, por ello ofrecen servicios cada vez más eficientes, flexibles y a un costo muy accesible para la mayoría de las empresas o desarrolladores.

A todo esto ¿Qué tipos de arquitectura pensados para Big Data puedes crear en un servicio en la nube?

Arquitectura Lambda

Fue diseñada para ser altamente escalable, con una gran tolerancia a fallos y un procesamiento masivo de datos. Cuenta con una gran robustez para satisfacer múltiples cargas de trabajo, dentro de su composición se encuentran 3 capas:

1. Batch: Capa de procesamiento para datos previamente almacenados, pueden ser datos del dia anterior hasta meses atrás.
2. Speed: A diferencia de la capa Batch, dentro de Speed solamente vamos a procesar información en tiempo real.
3. Serving: Destinada exclusivamente para visualizar la información procesada dentro de la capa Batch.

Aunque es una arquitectura con un nivel de complejidad un tanto elevado, es de las más utilizadas para desarrollar proyectos.

Arquitectura Kappa

Fue presentada en 2014 por Jay Krepsen como una evolución de la arquitectura Lambda eliminando la capa batch y dejando únicamente la capa para procesamiento de información en tiempo real.

Los pilares en que se basa esta arquitectura son:

1. Todo es stream.
2. La información de origen no se modifica.
3. Solo existe un flujo de procesamiento.
4. Permite reprocesar.

Arquitectura Batch

Dado su nombre es muy fácil de intuir de dónde proviene esta arquitectura. Es la capa Batch específica de la arquitectura Lambda. Funciona de la siguiente manera:

• Un sistema o servicio va a orquestar el flujo de información.
• El flujo se encuentra compuesto por una capa de Input, Procesamiento y un Output donde visualizar los datos.
• La capa de Input y Output van a estar conectadas a la base de datos. El Input va a solicitar la información a la base de datos y el Output va a regresar la información ya procesada a la misma base.

Aprender a desplegar una arquitectura en la nube para Big Data es sumamente importante si quieres adentrarte en este mundo, los datos funcionarán como relojito una vez hayas aprendido a montar estos sistemas automatizado. Empieza hoy mismo a crear estos sistemas en la nube para procesar tu data en el nuevo Curso de Big Data.