¿Qué son los streams en Node.js y por qué son útiles?
Los streams en Node.js son un concepto fundamental que todos los desarrolladores deberían entender. Aunque al principio pueda parecer complicado, entender cómo funcionan estos flujos de datos te permitirá manejar grandes cantidades de información de manera eficiente, sin saturar la memoria de tu sistema. Pero ¿qué hace que los streams sean tan especiales?
Tipos de Streams en Node.js:
Streams de Lectura: Permiten leer datos de una fuente.
Streams de Escritura: Usados para escribir datos hacia un destino.
Streams de Doble Sentido: Permiten leer y escribir datos.
Imagina tener un archivo enorme que deseas procesar poco a poco, en lugar de leer todo el archivo de una sola vez. Ahí es donde los streams de lectura entran en juego, permitiéndote gestionar fragmentos de información que llegan en forma de 'paquetes'.
¿Cómo trabajar con streams de lectura?
Vamos a aprender a utilizar los streams de lectura mediante un ejemplo práctico. En lugar de procesar un archivo completo en un solo paso, vamos a manejarlos en piezas más pequeñas para usar menos memoria.
const fs =require('fs');let data ='';const readerStream = fs.createReadStream('input.txt');readerStream.setEncoding('UTF8');readerStream.on('data',function(chunk){ data += chunk;});readerStream.on('end',function(){console.log(data);});readerStream.on('error',function(err){console.log(err.stack);});
Crear un stream de lectura: Usamos fs.createReadStream.
Escuchar eventos: Responder a la llegada de datos, finalizar la lectura y manejar errores.
Procesar los datos por paquetes: Acumulamos los datos leídos en trozos, típicamente para manejar archivos grandes.
¿Cómo escribir datos usando streams?
Además de la lectura, Node.js te permite escribir datos usando streams. Esto es particularmente útil cuando quieres enviar datos a un destino, como otro archivo.
const fs =require('fs');const writeData ='Escribiendo datos en un archivo utilizando Stream de Escritura.\n';const writerStream = fs.createWriteStream('output.txt');writerStream.write(writeData,'UTF8');writerStream.end();writerStream.on('finish',function(){console.log("Escritura completada.");});writerStream.on('error',function(err){console.log(err.stack);});
Crear un stream de escritura: Con fs.createWriteStream.
Escribir y finalizar: Usamos stream.write para escribir y stream.end para terminar.
Manejo de eventos: Detectamos cuando la escritura finaliza o si ocurre algún error.
¿Cómo transformar datos en streams?
A menudo, es necesario transformar datos mientras fluyen de una fuente a un destino. Utiliza streams de transformación para aplicar operaciones de ajuste, como cambiar mayúsculas o filtrar datos.
const{Transform}=require('stream');classUpperCaseTransformextendsTransform{_transform(chunk, encoding, callback){this.push(chunk.toString().toUpperCase());callback();}}const upperCaseTransform =newUpperCaseTransform();// Piping data through the transform streamreaderStream.pipe(upperCaseTransform).pipe(process.stdout);
Crear streams de transformación: Extiende la clase Transform y redefine el método _transform.
Uso de transformaciones: Pipear datos a través de estos streams para modificarlos antes de dirigirlos a su destino final.
Como podemos ver, los streams de Node.js son ideales para la gestión eficiente de grandes cantidades de datos. Empieza a experimentar, integra estos conceptos en tus proyectos y observa cómo mejoran tu eficiencia y claridad en el manejo de datos a gran escala. Continúa aprendiendo, explorando y desarrollando habilidades que te beneficiarán en el desarrollo backend con Node.js.
¿Qué son los streams en Node.js y por qué son útiles?
Los streams en Node.js son un concepto fundamental que todos los desarrolladores deberían entender. Aunque al principio pueda parecer complicado, entender cómo funcionan estos flujos de datos te permitirá manejar grandes cantidades de información de manera eficiente, sin saturar la memoria de tu sistema. Pero ¿qué hace que los streams sean tan especiales?
Tipos de Streams en Node.js:
Streams de Lectura: Permiten leer datos de una fuente.
Streams de Escritura: Usados para escribir datos hacia un destino.
Streams de Doble Sentido: Permiten leer y escribir datos.
Imagina tener un archivo enorme que deseas procesar poco a poco, en lugar de leer todo el archivo de una sola vez. Ahí es donde los streams de lectura entran en juego, permitiéndote gestionar fragmentos de información que llegan en forma de 'paquetes'.
¿Cómo trabajar con streams de lectura?
Vamos a aprender a utilizar los streams de lectura mediante un ejemplo práctico. En lugar de procesar un archivo completo en un solo paso, vamos a manejarlos en piezas más pequeñas para usar menos memoria.
const fs = require('fs');
let data = '';
const readerStream = fs.createReadStream('input.txt');
readerStream.setEncoding('UTF8');
readerStream.on('data', function(chunk) {
data += chunk;
});
readerStream.on('end', function() {
console.log(data);
});
readerStream.on('error', function(err) {
console.log(err.stack);
});
Crear un stream de lectura: Usamos fs.createReadStream.
Escuchar eventos: Responder a la llegada de datos, finalizar la lectura y manejar errores.
Procesar los datos por paquetes: Acumulamos los datos leídos en trozos, típicamente para manejar archivos grandes.
¿Cómo escribir datos usando streams?
Además de la lectura, Node.js te permite escribir datos usando streams. Esto es particularmente útil cuando quieres enviar datos a un destino, como otro archivo.
const fs = require('fs');
const writeData = 'Escribiendo datos en un archivo utilizando Stream de Escritura.\n';
const writerStream = fs.createWriteStream('output.txt');
writerStream.write(writeData, 'UTF8');
writerStream.end();
writerStream.on('finish', function() {
console.log("Escritura completada.");
});
writerStream.on('error', function(err) {
console.log(err.stack);
});
Crear un stream de escritura: Con fs.createWriteStream.
Escribir y finalizar: Usamos stream.write para escribir y stream.end para terminar.
Manejo de eventos: Detectamos cuando la escritura finaliza o si ocurre algún error.
¿Cómo transformar datos en streams?
A menudo, es necesario transformar datos mientras fluyen de una fuente a un destino. Utiliza streams de transformación para aplicar operaciones de ajuste, como cambiar mayúsculas o filtrar datos.
const { Transform } = require('stream');
class UpperCaseTransform extends Transform {
_transform(chunk, encoding, callback) {
this.push(chunk.toString().toUpperCase());
callback();
}
}
const upperCaseTransform = new UpperCaseTransform();
// Piping data through the transform stream
readerStream.pipe(upperCaseTransform).pipe(process.stdout);
Crear streams de transformación: Extiende la clase Transform y redefine el método _transform.
Uso de transformaciones: Pipear datos a través de estos streams para modificarlos antes de dirigirlos a su destino final.
Como podemos ver, los streams de Node.js son ideales para la gestión eficiente de grandes cantidades de datos. Empieza a experimentar, integra estos conceptos en tus proyectos y observa cómo mejoran tu eficiencia y claridad en el manejo de datos a gran escala. Continúa aprendiendo, explorando y desarrollando habilidades que te beneficiarán en el desarrollo backend con Node.js.
** Stream**
Podría decirse que un Stream es el proceso de ir consumiendo datos al tiempo en que se reciben. Por ejemplo, cuando vemos un video en Youtube estamos consumiendo datos por medio de streaming (readable stream, porque solo podemos ver los videos mas no editarlos) ya que lo vemos al mismo tiempo en que este se está descargando. de lo contrario habría que esperar a que se descargue el video por completo para poder verlo.
buffer
Si en el caso anterior, mientras vemos el video, fallara el internet, así sea por un segundo, la reproducción se pararía instantáneamente. Pero sabemos que en realidad no es así, el video continúa reproduciéndose por un tiempo mas. Esto es gracias a la implementación de un buffer el cuál es un espacio en memoria ram en donde la información proveniente del servidor llega por fragmentos (chunks), para luego ser consumido, y como ese almacenamiento de datos en el buffer se hace a bajo nivel, de forma binaria, el proceso es mucho mas rápido de lo que se consume. Es por eso que cuando reproducimos un video en Youtube vemos que este se carga mas rápido. (dependiendo del ancho de banda claro está)
intentaré explicarlo para ver si se entiende de mejor manera que wea pasa en esta parte del código
const Transform = stream.Transform;
lo que se hace aquí es crear una constante que va a contener la clase Transform, pero.. que es lo que hace Transform?.
pues básicamente lo que hace es transformar la secuencia de entrada para que la secuencia de salida sea una diferente. EJ: ( no falta el weon que se lo olvida que las iniciales de los nombres van en Mayúsculas, sin embargo tu quieres asegurarte que los nombres en tu pagina web, la Inicial aparezca en Mayúscula. entonces es ahí donde ocupas el Transform para que la secuencia de entrada la puedas cambiar y produzca una secuencia de salida diferente.)
Bien que aquí prácticamente estas diciendo que sera en esta función será donde ejecutaras la transformación. al colocar Tranform.call(this) estas iniciando el llamado a la tranformacion de tu secuencia datos. y al colocar this estas diciendo que se hará dentro del método Mayus
function Mayus(){
Transform.call(this);
}
dicho esto pasemos a lo siguiente..
bien acá por lo que busque y encontré.(porque el que busca encuentra) lo que hace util.inherits(Mayus,Transform); es crear una instancia de la clase Transform y estableciéndolo como prototipo a la función Mayus, tambien adjuntando el EventEmmitter. es decir el Transform.Call(this).
de modo que cada vez que se crea una instancia de la funcion Mayus se ejecutara el fichero.
en pocas palabras para el que sepa PHP o JAVA . es como llamar al metodo super()
util.inherits(Mayus,Transform);
CABE RECALCAR QUE NODE NO RECOMIENDA USAR ESTA FUNCIÓN
bueno bueno que tenemos acá.
pero miren justo Mayus.prototype._transform fue posible gracias a la función de util.inherits(Mayus,Transform) que establecía la clase Transform como prototipo de la función Mayus.
PERO QUE SIGNIFICA ._transform ?
bueno básicamente significa que la transformación que tu harás podrá ser personalizada, así es(como mi redacción). es decir que tu veras que cambio o que transformación le harás a la secuencia de datos que estas recibiendo como entrada.
bueno y por ultimo que sucede al final. pues simple
creas una instancia de la funcion Mayus
y bueno por ultimo lo que hace pipe() es limitar el almacenamiento en el buffer para que no haya una sobresaturacion a la hora se pasar la secuencia de los datos
var mayus = new Mayus();
readablesStream.pipe(mayus).pipe(process.stdout);
BUENO RECALCO QUE ESTO LO DESCRIBÍ CON MIS PROPIAS PALABRAS, si hay algo en lo que me equivoco al mencionar pues que comente para que así sepamos bien el error y entendamos bien el concepto
La clase no fue muy provechosa ya que hubo muchos conceptos que no se explicaron antes (ni tampoco en los cursos de Javascript) y que esta vez se usaron prácticamente sin explicación.
Saludos, creo que el profesor no entiende muy bien el codigo de la clase, es por eso que no explico muchas partes, creo que es posible simplificar el codigo para que sea mas entendible para todos los estudiantes y no tengan que preocuparse por cosas que no tienen que ver con streams como el prototipo, inherits y etc.
Hay una forma mas simple de escribir este transform:
Me parece que se complicó demasiado para esta transformación, hizo muchas cosas rápidamente con explicaciones muy leves y no se entendió nada desde que empezó a hacer el Transform!
Un stream es el proceso de ir consumiendo datos al tiempo que se están recibiendo. En palabras del profesor, es el paso de datos entre un punto y otro.
const fs = require('fs')
let data = ''
let readableStream = fs.createReadStream(__dirname + '/input.txt')
readableStream.setEncoding('UTF8')
readableStream.on('data', chunk => data += chunk)
readableStream.on('end', () => console.log(data))
En estos casos podemos escribir en buffer de la salida del sistema, process.stdout es un buffer de escritura en que empieza a trabajar para generar todo esto.
Las Streams son colecciones de datos, como matrices o cadenas. La diferencia es que las transmisiones pueden no estar disponibles de una vez y no tienen que caber en la memoria. Esto hace que las transmisiones sean realmente poderosas cuando se trabaja con grandes cantidades de datos, o datos que provienen de una fuente externa o un fragmento a la vez.
Solo es la parte de LEER
Dentro de poco subo la parte de escribir y la de hacer las dos cosas
Imagina que tienes un dulce enorme que transportar hacia tu casa para que tus hijos coman
Eres muy fuerte pero el dulce es demasiado grande, pero se te ocurre hacer algo traes una canasta y divides el dulce en partes llenas la canasta y envías esa canasta a tus hijos así tus hijos pueden ir comiendo los dulces que les enviaste mientras tus hijos se comen los dulces tú llenas la 2da canasta y la envías, así funciona esto
el búfer sería la canasta y streams sería el movimiento de enviar todo
Una vez sabiendo eso continuemos
Trabajaremos con archivos de texto en esta ocasión así que usaremos el módulo fs
const fs = require('fs')
//Aquí estoy creando una variable que se llama readableStream
//Le decimos que habrá la dirección que indicamos y lea el input
let readableStream = fs.createReadStream(__dirname + '/input.txt', 'utf8')
//Esto disparar un evento cada vez que recibamos datos y en el callback le decimos que queremos hacer con los datos
que van entrando
//(chuck) esto quiere decir una parte de lo que has recibido
//Podemos leer un archivo de 1GB y esperar que lea 1GB y luego nos muestre o
// Podemos decirle tráeme el chunk que ya tienes es decir si ya tienes 5mb tráelos que iré trabajando con eso
//Pero donde está la magia en todo esto ?
Pues verás te recomiendo que hagas el archivo input.txt y lo llenes de texto al azar 500 líneas de texto 100 lo que tú quieras
y veraz como cada vez que se llena el buffer (chunk) nos pasara al callaback donde le dijimos
okay muéstrame el avance del paquete que ya tienes de todo lo que tienes que mostrarme
Si te ayudo regale un like ;)
Te recuerdo que yo también estoy aprendiendo esto así que si tienes algo más que aportar estaría excelente