Estilos: Flujo de datos

Apuntes:

Flujo de datos

Lote secuencial
Lo importante es ejecutar una pieza de código y que al final de esa pieza todo lo procesado pase a la siguiente pieza.
Tubos y filtros
Tenemos un flujo de datos continuo en dónde cada aplicación recibe continuamente esos datos, los procesa y le da salida a otra aplicación o al final de ésta.

Estilo: Flujo de Datos.

• Este estilo se utiliza cuando tenemos un proceso que tiene que tener una salida clara; pero esa misma salida puede segmentarse en partes. Partes que ya se sabe que hay que hacer.

Lote Secuencial:

• Se trata de la ejecución de una pieza de código, Ya procesa y asegurase de que esta pase a otra etapa o proceso.

Tubos y Filtros:

• Es un String o un flujo de datos continuo, en donde cada aplicación recibe esos datos. los procesa. y los envía como salida a otra aplicación o quizás. ya hasta al final de la ejecución.

Me recuerda al sistema de pre-registro de una universidad y una pizzeria.
♦ En el pre-registro de una universidad todos los datos llegan y se estipula una fecha para dejar de recolectar datos y procesar todos los obtenidos.

Mientras que…
♦En una pizzeria los datos tienen que recolectarse, filtrarse y ser procesados en tiempo real puesto que un negocio de comida rapida debe funcionar asi.

Se enfoca es en la manera en la que se manipulan los datos

Lotes secuenciales

Se basa en dividir el trabajo en subproceso llamados lotes los cuales se procesan uno tras otro y dan un resultado que sirve como entrada para el siguiente

Tubos y filtros

Igualmente se divide el trabajo en subproceso pero la principal ventaja es que puede haber procesos en paralelo y se puede quitar un proceso o agregar otro sin afectar el comportamiento del resto.

En la terminal conducir la salida estándar de un programa a la entrada estándar de otro se representa con el pipe ( | ) y la generación de archivos por lote se podría representar con el ( >> ) o el ( > ) dependiendo si queremos concatenar la salida o si queremos generar un archivo nuevo respectivamente

Lote Secuencial: Un lote de datos ya procesado se envía a la siguiente etapa.
Tubos y Filtros: En un flujo de datos continuos se va separando dependiendo de los requerimientos durante las etapas siguientes.
Saludos, AF.

Arquitectura flujo de datos(filtros y tuberías)
Este consta de un conjunto de componentes denominados «filtros», conectados entre sí por «tuberías», que transmiten los datos desde un componente al siguiente. Cada filtro trabaja de manera independiente de los componentes que se encuentren situados antes o después de el.

Notas extras:
Programas utilizados en el ejemplo de tubos y filtros:

Grep: Toma una expresión regular de la línea de comandos, lee la entrada estándar o una lista de archivos, e imprime las líneas que contengan coincidencias para la expresión regular.

Sed: Reemplaza texto dentro de una linea.

WC: Cuenta cantidad de palabras

I share my mind map.

@@ FLUJO DE DATOS @@
No se preocupa por la secuencia de ejecución si no por cómo fluyen los datos de un punto a otro.

Lote secuencia.- Habla de la creación de un bloque de código el cual ya procesado pasa a otra etapa.

Tubos y filtros.- Se refiere a un flujo de datos continuo , constantemente recibe (y manda datos si es necesario) hasta llegar a un fin. 

Flujo de datos
Como los datos fluyen de un punto a otro
Proceso que tiene que tener una salida clara

1. Lote secuencial

• Por etapas
• Algo costoso entre etapa y etapa

1. Tubos y filtros

• Stream continuo
• Compuesta por etapas separadas
• Scripting, repeticiones

RESUMEN:

¿Cuando tenemos que usar estilo arquitecura de datos? . cUANDO Un proceso necesita una salida clara, puede ser dividio en partes que procesan en tiempo real la información sin intervención del usuario, o cuando se nos da un dato que necesita ser procesado y entregar un dato de salida

Es posible entenderlo como procesos modulares que pueden ordenarse para manipular x informaicón y darme un resultado, por ejemplo: necesito sumar n datos de una base de datos, luego mostrar un reporte de total de ventas mensuales, todo hasta llegar al usuario final. Este estilo habla del flujo de transformación de los datos de entrada en un proceso hasta su salida.

Flujo de datos

• Lote secuencial.ejecutar una pieza de código y que al final de esa pieza todo lo procesado pase a la siguiente pieza.
  Tubos y filtros
• Flujo de datos continuo en dónde cada aplicación recibe continuamente esos datos, los procesa y le da salida a otra aplicación o al final de ésta.

😃

Conceptos extraídos de:

• https://towardsdatascience.com/10-common-software-architectural-patterns-in-a-nutshell-a0b47a1e9013

• Lote secuencial: lo importante es ejecutar una pieza de código y q todo procesado pase a una siguiente etapa.
• Tubos y filtros: un flujo de datos continuo (string) donde cada aplicación recibe continuamente los datos y los procesa.

Lote secuencial: Se ejecuta y se procesa la información para psarse a la siguiente etapa.
Tubos y filtros: Es un flujo de datos continuos.

fuente

Lambda sería un servicio para procesar los lotes secuenciales o las instancias dedicadas.

cuando aplicamos un estilo de flujo de datos: cuando tenemos un programa que tiene una salida clara pero que puede ser separado en partes, como cuando tenemos un string de entrada y podemos parte a parte y procesandolo para tener una salida al final del tubo.

16. Mis apuntes sobre: "Estilos: Flujo de datos"
Depende de cómo los datos van fluyendo de un lado a otro.

16.1. Lote secuencial: Ejecutar una pieza de código y que el final de esa pieza, todo ya
procesado pase a una siguiente etapa.

16.2. Tubos y filtros: Tenemos un stream o flujo de datos continuo, donde cada aplicación
recibe continuamnete esos datos, los procesa y los hace como salida a otra aplicación
o al final de la ejecución.

Lote secuencial: Crea bloques, es en tiempo real y una vez procesado, lo pasa al siguiente bloque.
Tubos y filtros: Procesa los datos en cada bloque, es continuo.

Un ejemplo de lo que entendí. (acepto correcciones)
Flujo secuencial: Una empresa extrae agua en hielo del polo norte, la vende a otra que la disuelve, la venden a otra que le pone ingredientes, la venden a otra que la embotella, y todo fueron productos finales distintos en cada proceso hasta el refresco.
Tubos y filtros: Una empresa extrae hielo, lo derrite y envía por tubos hacia su planta, llega directo a un filtro y pasa a una mezcladora de insumos y esta descarga directo a botellas en serie y salen al almacén.

Estilo de arquitecturas de flujos de datos:
Aquí interesa como los datos va a ir fluyendo de un punto a otro.

Lote secuencial
Ejecutar un pieza de codigo y que luego todo ya procesado pase a una siguiente etapa.

Tubos y filtros
Son en tiempo real, no se necesita interacción del usurio para decidir cuando comienza y cuando termina.

Un patrón tubería y filtro tiene un grupo de componentes llamados filtros, conectados por tuberías que transmiten datos de un componente al siguiente fuente -> http://dallanmnr.blogspot.com/2011/08/estilos-de-arquitectura.html

Flujo de datos secuencial:

Secuencia lineal

Flujo de Pipelines:

Procesamiento secuencial usando librerías completamente aisladas, donde puedas generar nodos agregando nodos, tomando encuenta las entradas y salidas

la arquitectura flux es del tipo de flujo de datos?

En este estilo entraría los ETL’s ?

✅

Estilo de Arquitectura de Flujo de Datos

Este estilo de arquitectura se enfoca en el flujo de datos a través del sistema. El sistema se divide en componentes que procesan datos y los envían a otros componentes para su procesamiento adicional. Este enfoque ayuda a asegurar que los datos fluyan eficazmente a través del sistema y se procesen de manera efectiva.

El siguiente diagrama muestra un ejemplo de este estilo de arquitectura.

Estilo de Arquitectura de Lote Secuencial

El estilo de arquitectura de lote secuencial se refiere a un enfoque para procesar grandes cantidades de datos de manera eficiente. En este enfoque, los datos se procesan en lotes, y cada lote se procesa secuencialmente. Este enfoque es común en aplicaciones de procesamiento de datos a gran escala, como el procesamiento de nóminas y la facturación en masa.

El siguiente diagrama muestra un ejemplo de este estilo de arquitectura.

Estilo de Arquitectura de Tubos y Filtros

Este estilo de arquitectura se enfoca en el procesamiento de datos mediante una serie de filtros conectados en serie. Cada filtro toma una entrada de datos, la procesa y la envía a la siguiente etapa del proceso. Este enfoque permite el procesamiento de grandes cantidades de datos de manera eficiente y es común en aplicaciones de procesamiento de imágenes y señales.

El siguiente diagrama muestra un ejemplo de este estilo de arquitectura.

Este estilo vamos a tener diferentes aplicaciones conectadas generalmente en tiempo real, por lo que ya no necesitamos interacción del usuario para saber cuando empieza un proceso o cuando termina, solo nos preocupamos de como fluyen los datos de un punto a otro.
Se utiliza cuando tenemos un proceso que tiene que tener una salida clara, pero esa misma salida puede separarse en partes. Como cuando necesitamos a partir de un String de entrada, procesarlo parte a parte y tener una salida.

Tenemos 2 estilos:

Lote Secuencial:

Se trata de la ejecución de una pieza de código, Ya procesada y asegurase de que esta pase a otra etapa o proceso.

Tubos y Filtros:

Se recibe un String u otro tipo de dato como flujo de datos continuo, cada aplicación en el flujo recibe esos datos, los procesa. y los envía como salida a otra aplicación (aplicaciones que se compone de componentes totalmente separados) hasta al final de la ejecución.

lote secuencial.- grandes bloques que tienen que pocesarse parte por parte.
tubos y filtros.- en tiempo real o continuo a medida que va procesandoce va saliendo a otro programa.

En los sistemas operativos tipo Unix es común utilizar texto como interfaz universal para comunicar herramientas de consola.

un ejemplo sencillo sería un pequeño comando en un shell:

echo "Hay una mosca parada en la pared" | tr "aeiou" "a" 
# Output: Hay ana masca parada an la parad

El comando echo envía el mensaje a algo llamado stdout. Utilizamos el símbolo pipe “|” para redireccionar el stdout al stdin de otro programa. El programa tr recibe el texto y realiza su función, la cual es reemplazar los caracteres “aeiou” por “a”. Al final el programa tr envía el resultado al stdout, que por defecto es la terminal.

FLUJO DE DATOS
En los flujos de datos NO nos preocupamos por la secuencia de ejecución sino CÓMO los datos fluyen de un punto a otro
Tendremos diferentes aplicaciones conectadas en tiempo real en las cuales no dependeremos de interacción para decidir cuando empieza un proceso o termina otro
Lote secuencial
Tenemos aplicaciones que son costosas (puede ser por el tamaño de datos) al momento de procesar información, como por ejemplo Reportes de bases de datos de ventas… archivos de un lote de archivos para procesar
Tubos y filtros
Se tiene un String o un flujo de datos continuo en donde cada aplicación recibe continuamente esos datos los procesa y los hace como salida a otra aplicación o al final de la ejecución.

Hay diferentes estilos de arquitectura de flujo de datos

En el estilo de flujo de datos lo que se tiene son diferentes aplicaciones que van a estar conectadas en general en tiempo real por lo tanto ya no se necesita interacción con el usuario para decidir cuándo empieza un proceso o cuando termina otro.

Un aporte que les dejo, este video nos muestra de manera practica esta arquitectura, flujo de datos

No estamos preocupados por la secuencia de ejecución sino por como los datos van a ir de un lugar a otro.

Excelente!

Tengo una duda, en el minuto 2:20, ¿se refiere más bien a Tubos y filtros?, no a flujo de datos en general ¿o estoy equivocada?

Okey, entiendo!
Los Tuberias y Filtros seria algo parecido a Git Flow es una serie de Wrappers osea, un monton de comandos ya hechos que permiten establecer un flujo ya creado y no teclear tanto!

el flujo de los datos puede ser secuencial o por medio de tubos y filtros para que llegue de una aplicación a otra

Lote secuencial

Flujo de datos

tubos y filtros

.

La arquitectura de flujo de datos es una arquitectura de computadores que contrasta directamente con la tradicional Arquitectura de von Neumann o de estructuras de control

Buena clase!