Arquitectura Comparte Nada con Map Reduce

Curso Profesional de Arquitectura de Software

Contenido del curso

Introducción al curso

1
Curso Profesional de Arquitectura de Software
02:36 min

Atributos de calidad

Patrones de arquitectura

Diseño de una arquitectura

Modelado y documentación de arquitectura

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:002:29

Arquitectura Comparte Nada con Map Reduce

Curso Profesional de Arquitectura de Software

Clase 18 de 43

Clase 18 / 43

Recursos

La arquitectura Comparte Nada ofrece una ruta clara para procesar grandes volúmenes de datos sin compartir recursos: cada componente opera con su estado privado y su base de datos privada, evitando bloqueos y casos de contingencia. Esta estrategia mejora la disponibilidad y simplifica decisiones de prioridad al eliminar puntos de unión entre componentes.

¿Qué es la arquitectura comparte nada y cómo reduce la complejidad?

Cuando varios componentes comparten recursos, aumentan las dudas sobre quién tiene prioridad y cómo asegurar la disponibilidad. Comparte Nada propone no compartir nada y así no depender de un punto común. Con esto, cada componente se vuelve autosuficiente: tiene todo lo que necesita para él y solo para él.

Componentes con estado privado y base de datos privada.
Únicos consumidores de sus propios datos.
Sin necesidad de loquear otros recursos.
Menos casos de contingencia y un proceso optimizado.

¿Cómo se garantiza el aislamiento de componentes?

El aislamiento se logra asegurando que cada componente tenga su propio conjunto de datos y no requiera leer o escribir en los de otros. Así, se evitan bloqueos y esperas.

Sin puntos de unión entre componentes.
Independencia de lectura y escritura.
Acceso exclusivo a la información necesaria.

¿Cómo aplica map reduce el patrón comparte nada?

En map reduce se trabaja con volúmenes muy grandes de datos, por lo que se particionan y se procesan en batches pequeños de forma agrupada y secuencial. Cada partición se asigna a un componente que la procesa de forma independiente.

Se decide una estrategia de partición de datos.
Cada componente recibe su porción independiente.
Nadie más accede a esa porción durante el procesamiento.

¿Qué ejemplo muestra la partición por nombre?

Con tres componentes, se puede dividir la base de usuarios por rangos de letras: de A a I, de J a O y de P a Z. Cada sub-base queda independizada y asignada a su componente.

Cada componente usa su sub-base para él y solo para él.
No necesita loquear ni sincronizar con otros.
Nadie más accede a esos datos en ese momento.

¿Cuántas particiones conviene usar para optimizar?

Cuantas más particiones haya, mayor paralelismo potencial, siempre que no se necesiten datos de otros procesos. Pasar de tres particiones a ocho o veinte puede acelerar el procesamiento si se mantiene el aislamiento.

Aumento de particiones con independencia garantizada.
Mejor uso de recursos disponibles.
Procesamiento más optimizado sin conflictos.

¿Cuándo usar este patrón y qué habilidades necesitas?

Es un patrón muy puntual: no siempre es sencillo diseñar sistemas que no comparten nada, pero cuando el escenario lo permite, aprovecha al máximo los recursos.

Identificar cuándo compartir recursos añade complejidad innecesaria.
Definir particiones que no requieran acceso cruzado.
Garantizar exclusividad de acceso por componente.
Planificar prioridad y disponibilidad sin puntos de unión.

¿Quieres comentar cómo particionarías tus datos o en qué escenario aplicarías Comparte Nada?

Miguel Angel Reyes Moreno

Hace 2 años

Este patrón es usado en Big Data, aquí un sencillo ejemplo:

La arquitectura Shared-Nothing es un enfoque en el que los nodos de un sistema no comparten recursos, como memoria o almacenamiento, y trabajan de manera independiente. Esta arquitectura es común en sistemas distribuidos donde se necesita alta escalabilidad y paralelismo. En el contexto de MapReduce, una arquitectura de procesamiento distribuido, este patrón se adapta perfectamente ya que cada nodo realiza cálculos sobre una parte de los datos sin necesidad de compartir memoria con otros nodos.

Aquí te doy un ejemplo de un proyecto que usa la arquitectura Shared-Nothing con el paradigma MapReduce. En este ejemplo, imaginemos un sistema de procesamiento de grandes volúmenes de datos como el recuento de palabras de grandes archivos de texto distribuidos en múltiples nodos, típico de un escenario de Big Data.

Ejemplo de Proyecto con Arquitectura Shared-Nothing Usando MapReduce

Escenario:

El proyecto procesa un gran conjunto de archivos de texto para contar la frecuencia de cada palabra usando la arquitectura Shared-Nothing. El proceso se distribuye en varios nodos, donde cada nodo lee una parte del archivo, cuenta las palabras localmente y luego se agrupan (reduce) los resultados finales.

/mapreduce-shared-nothing

│

├── /input # Carpeta de archivos de entrada

│ ├── file1.txt

│ ├── file2.txt

│ └── fileN.txt

│

├── /mappers # Carpeta de mappers

│ ├── mapper1.js # Nodo 1 (Mapper)

│ ├── mapper2.js # Nodo 2 (Mapper)

│ └── mapperN.js # Nodo N (Mapper)

│

├── /reducers # Carpeta de reducers

│ ├── reducer.js # Reduce para agrupar resultados

│

├── /nodes # Scripts para iniciar nodos

│ ├── node1.js # Nodo que ejecuta el mapper 1

│ ├── node2.js # Nodo que ejecuta el mapper 2

│ └── nodeN.js # Nodo que ejecuta el mapper N

│

├── /output # Carpeta para almacenar resultados finales

│ ├── result.txt # Archivo con el recuento final de palabras

│

├── /config # Configuración del sistema distribuido

│ └── nodeConfig.json # Configuración de nodos y archivos distribuidos

│

├── master.js # Controlador maestro del proceso MapReduce

├── mapreduce.js # Implementación básica de MapReduce

├── README.md # Documentación del proyecto

└── package.json # Dependencias del proyecto

Características Clave del Patrón Shared-Nothing con MapReduce:

Independencia de Nodos:
- Cada nodo es responsable de su propio procesamiento y no depende de la memoria o almacenamiento compartido con otros nodos. Los nodos solo se comunican a través de los resultados intermedios (los mappers envían sus resultados al reducer).
Escalabilidad Horizontal:
- El sistema puede escalar fácilmente agregando más nodos para procesar más archivos o más partes de un gran archivo. Debido a la arquitectura Shared-Nothing, no hay cuellos de botella causados por recursos compartidos.
Alta Disponibilidad:
- Si un nodo falla, otros nodos no se ven afectados, y el trabajo de ese nodo puede ser reasignado a otro sin comprometer el procesamiento general.
Optimización de Datos Localizados:
- El enfoque MapReduce permite distribuir los datos de entrada y su procesamiento de manera eficiente. En un entorno distribuido real, los datos pueden procesarse en nodos que están físicamente cerca de donde se almacenan los datos, reduciendo la latencia de red.

Este patrón es ampliamente utilizado en aplicaciones de Big Data, como sistemas de procesamiento de grandes volúmenes de datos (Hadoop, por ejemplo), donde la escalabilidad y la eficiencia en el procesamiento distribuido son críticos.

Comentarios (15)15 comentarios

Andrés Madrigal

Hace 8 años

Patrones: Comparte-Nada
Compartir recursos entre diferentes componentes agrega mucha complejidad a la hora de decidir prioridades o disponibilidad del componente, entonces se busca crear que NO se tenga punto de unión entre componentes. Esta arquitectura es muy potente al procesar la información ya que al separar los componentes se puede enfocar en el fallo por que cada componente hace uso único de los recursos de dicho sistema.

Carlos Eduardo Diaz Polanco

Patrones: Comparte-nada:
El contenido de esta clase se detalla en este link… recomendado por el profesor.!

Abril Darynka Tapia Sosa

Hace 7 años

Patrón de arquitectura Comparte-nada Como hacer para compartir recursos? El compartir recursos entre componentes agrega complejidad a la hora de decidir acciones. Por lo tanto, esta arquitectura plantea como no necesitar un punto de unión entre componentes.

Jeisson Duran

Cómo hacer para compartir recursos, hay que tener en cuenta que esto agrega complejidad al sistema.
Esta arquitectura es muy potente a la hora de procesar información, porque si cada componente tiene sus datos propios se puede garantizar que esos componentes son los únicos que tienen acceso a la información.?
Compartir recursos entre diferentes componentes agrega mucha complejidad a la hora de decidir prioridades o disponibilidad del componente, entonces se busca crear que NO se tenga punto de unión entre componentes. Esta arquitectura es muy potente al procesar la información ya que sugiere separarl los componentes y que los recursos como BD. Y deprocesamiento sean de uso exclusivo del componente, al separar los componentes se puede enfocar en el fallo por que cada componente hace uso único de los recursos de dicho sistema.??El ejemplo más común es MapReduce donde se trabajan con grandes cantidades de datos y se seccionan para trabajar con ellos de forma agrupada y secuencial. (Separar base de datos por usuarios 1ª de la A-i, la 2ª de la J-O y la 3ª de la P-Z). y podemos optimizar al máximo, podria separarce en más capas aún.

Antonio Rafael González Ferrer

Apuntes:

Comparte-nada

Plantea cómo hacer para no compartir nada, es decir para directamente no necesitar un punto de unión entre componentes.

Christian Gómez

Hace 6 años

Patrones: Comparte-nada

Procura que no exista un punto de unión entre componentes. Es muy potente a la hora de procesar información. Ya que como cada componente tiene su estado, BD privado y todo lo que necesite para el y solo para el. se puede optimizar ese proceso de forma que no tenemos que considerar casos de contingencia.

David Andrade Morales

El ejemplo más común es MapReduce donde se trabajan con grandes cantidades de datos y se seccionan para trabajar con ellos de forma agrupada y secuencial. (Separar base de datos por usuarios 1ª de la A-i, la 2ª de la J-O y la 3ª de la P-Z). y podemos optimizar al máximo.

Juan Carlos Ortiz Romero

Hace 5 años

🤖🤖🤖 Cómo hacer para compartir recursos, hay que tener en cuenta que esto agrega complejidad al sistema.

Esta arquitectura es muy potente a la hora de procesar información, porque si cada componente tiene sus datos propios se puede garantizar que esos componentes son los únicos que tienen acceso a la información.

Lucas Pontoriero

Muy buena clase!! Excelente Guido.

Elena Fischietto

Hace 4 años

¿Los índices de MySQL serían un shared-nothing?

Guadalupe Monge Barale

Esto me explicó la IA

Índices de MySQL y Shared-Nothing

Los índices de MySQL, en general, no se consideran un ejemplo típico de arquitectura Shared-Nothing. Aquí hay algunas razones:

Dependencia de Recursos Compartidos: Los índices de una base de datos MySQL tradicional suelen residir en un único servidor y se comparten entre todas las consultas que acceden a esa base de datos. Esto no sigue el principio de no compartir recursos.
Escalabilidad Limitada: Aunque MySQL puede escalarse mediante técnicas como particionamiento o replicación, la base de datos en sí no está diseñada para ser completamente independiente en cada nodo en el mismo sentido que un sistema Shared-Nothing.

Sin embargo, algunas arquitecturas distribuidas de bases de datos, como Cassandra o HBase, que se basan en un modelo más similar al de Shared-Nothing, manejan datos e índices de manera distribuida, donde cada nodo es responsable de una porción específica del conjunto de datos.

JAVIER MEJIA

Buenos días, se les ha presentado la dificultad de no poder visualizar el vídeo de patrón de microservicios?

Qué solución le dieron, muchas gracias.

omar garcia garcia

Un buen ejemplo tambien de un Shared-Nothing es el uso de microservicio

Irving Juárez

Esta arquitectura en efecto es muy puntual y diria que los casos de uso son minimos en comparación con los vistos anteriormente.

Uno de los casos de uso es para computo cientifico en grandes batches, donde se hace analisis de grandes cantidades de información pero de manera separada

ANDRES ALFONSO MIRA MEJIA

Hace 3 años

✅

Introducción al curso

Curso Profesional de Arquitectura de Software

Atributos de calidad

Qué son los atributos de calidad en software

Cómo medir idoneidad funcional en software

Qué es eficiencia de ejecución en software

Cómo medir interoperabilidad y coexistencia

Qué es la usabilidad y sus 6 dimensiones

Cómo medir confiabilidad en software

Los 5 pilares de seguridad en software

Cómo garantizar mantenibilidad con tests

Adaptabilidad vs capacidad de instalación vs reemplazo

Tensiones entre atributos de calidad de software

Atributos de calidad según fase de empresa

Patrones de arquitectura

Qué es un patrón de arquitectura

Modelo vista controlador: cómo separar responsabilidades

Arquitectura en capas: controller, servicio y repositorio

Event sourcing vs bases relacionales

Qué es la arquitectura microkernel

Arquitectura Comparte Nada con Map Reduce

Patrón de microservicios: cuándo y cómo

Qué es CQRS y cómo separa lectura de escritura

Arquitectura hexagonal: puertos y adaptadores

Qué son los contextos delimitados en DDD

Cómo combinar patrones de arquitectura

Evolución de patrones desde monolito a microservicios

Diseño de una arquitectura

Cómo traducir requerimientos en decisiones arquitectónicas

Conectores en arquitectura: tipos y cuándo usarlos

Llamadas asíncronas vs síncronas vs cliente-servidor

Conector enrutador vs difusión: Twitter

Conectores cola, repositorio y pub/sub

Framework de diseño orientado a atributos

Cómo detectar fallas y reparar sistemas

Cómo recuperar y prevenir fallas en sistemas

Tácticas para confinar modificaciones

Cómo prevenir efectos dominó en software

Tácticas para controlar eficiencia de ejecución

Cómo detectar, resistir y recuperarse de ataques

Cómo probar que el software funciona correctamente

Cómo controlar la usabilidad con tácticas

Cómo validar arquitectura con ATAM y métricas

Evolución de arquitectura: startup a gran escala

Modelado y documentación de arquitectura

Cómo documentar arquitectura que no se erosione

Cómo sincronizar arquitectura y código fuente

Cómo aplicar atributos de calidad en proyectos

Arquitectura Comparte Nada con Map Reduce