Compresión de Datos en Repsheet: Algoritmos y Aplicaciones

¿Qué es la compresión en Redshift?

Tengo un archivo con X peso y quiero hacer que pese menos sin perder calidad.

Una tabla en reshift que no este comprimida, esta perdiendo todo el poder.

• Es una operacion dirigida a las columnas.
• Reduce el tamanio en almacenamiento de los datos reduciendo el I/O.
• Las consultas son mas veloces en una columna comprimida.

La sentencia que utiliza redshift es la siguiente AL MOMENTO DE CREAR LA TABLA:

CREATE TABLE table_name (column_name data type ENCODE encoding type)

Ejemplo:

CREATE TABLE test_compresion (nombre varchar(30) ENCODE TEXT255)

TIPOS DE COMPRENSION:

Codificar RAW (Predeterminada de Redshift)

• Los datos se almacenan descomprimidos y sin formato.
• Tipos da datos: todos.
• Tipo de codificacion por defecto.

Codificacion AZ64

• Codificacion propia de Amazon (AWS).
• Tipos de dato: smallint, integer, bigint, decimal, date, timestamp, timestamptz.
• Utiliza SIMD (Single Instruction, Multiple Data) para procesamiento paralelo.

Codificacion por diccionario de bytes:

• Muy eficaz cuando una columna tiene una cantidad limitada de valores unicos (menos de 256).
• Crea un diccionario en un bloque de redshift de 1MB.
• Tipos de dato: smallint, integer, bigint, decimal, real, double precision, char, varchar, date, timestamp, timestamptz.

Codificacion Delta:

• Muy utiles para las columnas con formato fecha y hora.
• Guarda la diferencia entre un registro y el siguiente.
• Tipos de datos: smallint, int, bigint, date, timestamp, decimal.
• Existe Delta de un byte y de dos bytes 8 y 16 respectivamente.
• No se pueden superar estos bytes en la diferencia, de ser asi la codificacion no se aplica.
• El rango de 1 byte abarca desde -127 hasta 127 y el rango de 2 bytes desde -32K hasta 32K.

Codificacion LZO:

• Mu util para largas cadenas de texto.
• Funciona para texto libre.
• Tipos de dato: smallint, integer, bigint, decimal, char, varchar, date, timestamp, timestamptz.

<h3>Compression encodings</h3>

Topics:

• Raw encoding
• AZ64 encoding
• Byte-dictionary encoding
• Delta encoding
• LZO encoding
• Mostly encoding
• Runlength encoding
• Text255 and Text32k encodings
• Zstandard encoding

Una codificación de compresión especifica el tipo de compresión que se aplica a una columna de valores de datos a medida que se agregan filas a una tabla.

Si no se especifica compresión en una instrucción CREATE TABLE o ALTER TABLE, Amazon Redshift asigna automáticamente la codificación de compresión de la siguiente manera:

• A las columnas definidas como claves de clasificación se les asigna compresión RAW.

• A las columnas que se definen como tipos de datos BOOLEAN, REAL o DOUBLE PRECISION se les asigna compresión RAW.

• A las columnas definidas como tipos de datos SMALLINT, INTEGER, BIGINT, DECIMAL, DATE, TIMESTAMP o TIMESTAMPTZ se les asigna la compresión AZ64.

• A las columnas definidas como tipos de datos CHAR o VARCHAR se les asigna compresión LZO.

La siguiente tabla identifica las codificaciones de compresión admitidas y los tipos de datos que admiten la codificación:

Encoding type	Keyword in CREATE TABLE and ALTER TABLE	Data types
Raw (no compression)	RAW	All
AZ64	AZ64	SMALLINT, INTEGER, BIGINT, DECIMAL, DATE, TIMESTAMP, TIMESTAMPTZ
Byte dictionary	BYTEDICT	SMALLINT, INTEGER, BIGINT, DECIMAL, REAL, DOUBLE PRECISION, CHAR, VARCHAR, DATE, TIMESTAMP, TIMESTAMPTZ
Delta	DELTA DELTA32K	SMALLINT, INT, BIGINT, DATE, TIMESTAMP, DECIMAL INT, BIGINT, DATE, TIMESTAMP, DECIMAL
LZO	LZO	SMALLINT, INTEGER, BIGINT, DECIMAL, CHAR, VARCHAR, DATE, TIMESTAMP, TIMESTAMPTZ
Mostlyn	MOSTLY8 MOSTLY16 MOSTLY32	SMALLINT, INT, BIGINT, DECIMAL INT, BIGINT, DECIMAL BIGINT, DECIMAL

AZ64 es un algoritmo de compresión propiedad de Amazon que se ha diseñado para conseguir un elevado índice de compresión y un procesamiento mejorado de las consultas. En esencia, el algoritmo AZ64 comprime grupos de valores de datos más pequeños y utiliza instrucciones SIMD (una instrucción, varios datos) para realizar un procesamiento en paralelo. Utilice AZ64 para ahorrar una cantidad significativa de almacenamiento y conseguir un buen rendimiento con tipos de datos numéricos, de fecha y de hora. Puede utilizar AZ64 como codificación de compresión para definir columnas con instrucciones CREATE TABLE y ALTER TABLE y los siguientes tipos de datos:

SMALLINT

INTEGER

BIGINT

DECIMAL

FECHA

TIMESTAMP

TIMESTAMPTZ

La compresión en Amazon Redshift, conocida como **Encoding** o **Compression Encoding**, es una característica que permite reducir el tamaño del almacenamiento de los datos en las columnas de las tablas, optimizando el uso de recursos y mejorando el rendimiento de las consultas al minimizar la cantidad de datos leídos desde el disco. ### Características principales de la compresión en Redshift: 1. **Compresión basada en columnas**: * Redshift almacena los datos de forma columnar, lo que facilita la aplicación de algoritmos de compresión específicos para cada tipo de dato en una columna. * Las columnas que contienen valores repetitivos o con patrones predecibles son altamente eficientes para la compresión. 2. **Compresión automática**: * Al cargar datos mediante el comando `COPY`, Redshift puede analizar los datos y sugerir automáticamente el mejor algoritmo de compresión para cada columna. * Esta funcionalidad es útil si no se han especificado opciones de compresión al crear la tabla. 3. **Beneficios de la compresión**: * **Reducción del almacenamiento**: Reduce el espacio necesario en disco para almacenar datos. * **Mejor rendimiento**: Disminuye la cantidad de datos que deben ser leídos desde el disco en consultas. * **Costos más bajos**: Al necesitar menos almacenamiento, se reducen los costos asociados. 4. **Algoritmos de compresión**: Redshift soporta diferentes algoritmos de compresión que son aplicables según el tipo de dato. Algunos de los más comunes incluyen: * **RAW**: Sin compresión. * **BYTEDICT**: Codificación basada en diccionarios para columnas con pocos valores únicos. * **DELTA**: Almacena diferencias consecutivas, ideal para datos secuenciales. * **RUNLENGTH**: Para columnas con muchos valores repetidos. * **ZSTD**: Algoritmo de compresión general que ofrece alta compresión y velocidad. * **TEXT255/TEXT32K**: Codificación eficiente para cadenas de texto. * **DELTA32K**: Una variante de DELTA para datos más grandes. 5. **Aplicación manual**: Puedes definir la compresión al momento de crear una tabla. Por ejemplo:CREATE TABLE ventas ( venta\_id INT ENCODE RAW, cliente\_id INT ENCODE BYTEDICT, fecha TIMESTAMP ENCODE DELTA, monto DECIMAL(10, 2) ENCODE ZSTD ); 6. **Análisis de compresión**: * Puedes usar la utilidad `ANALYZE COMPRESSION` para evaluar qué algoritmos de compresión son más eficientes para una tabla. * Ejemplo:ANALYZE COMPRESSION mi\_tabla; 7. **Limitaciones**: * No todas las columnas se benefician de la compresión (por ejemplo, columnas de tipo `BOOLEAN` suelen usar poca memoria de forma predeterminada). * La compresión no puede cambiarse directamente una vez aplicada; necesitas recrear la tabla con la nueva configuración. ### Mejores prácticas: * Usa compresión para todas las tablas que almacenan grandes volúmenes de datos. * Ejecuta `ANALYZE COMPRESSION` periódicamente para garantizar que se están usando los mejores algoritmos. * Carga datos con el comando `COPY` para aprovechar la compresión automática. La compresión es clave para maximizar el rendimiento y la eficiencia en Amazon Redshift, especialmente en entornos con grandes cantidades de datos.

¿La codificación por bytes va a tener hasta cierto punto el mismo efecto que normalizar una tabla?
Hablando acerca del ejemplo del video, ¿si me creo una tabla paises y hago referencia a ella en otras tablas, es lo mismo que crear el diccionario de bytes para las tablas?

Es que los veo muy similares, entonces tengo duda en cuales podría servirme más uno que otro.