Aplicando algoritmos de compresión

SELECT * FROM venue limit 10;
SELECT count(0) FROM listing;

CREATE table cartesian_venue as ()
SELECT venueid, venuename , venuecity , venuestate ,
FROM venue, listing;

CREATE table encoding_venue(
nameraw varchar(100) encode raw,
namebytedict varchar(100) encode bytedict,
namelzo varchar(100) encode lzo,
namerunlength varchar(100) encode runlength,
nametext255 varchar(100) encode text255,
nametext32k varchar(100) encode text32k,
namezstd varchar(100) encode zstd,

);

INSERT INTO encoding_venue
(
SELECT venuename,venuename,venuename,venuename,venuename,venuename,venuename
FROM cartesian_venue
);```

Una codificación de compresión especifica el tipo de compresión que se aplica a una columna de valores de datos a medida que se añaden filas a una tabla.

Si no se especifica una compresión en la instrucción CREATE TABLE o ALTER TABLE, Amazon Redshift asigna automáticamente la codificación de compresión de la siguiente manera:

A las columnas que están definidas como claves de ordenación se les asigna una compresión RAW.

A las columnas que están definidas como tipos de datos BOOLEAN, REAL o DOUBLE PRECISION se les asigna una compresión RAW.

Las columnas que se definen como tipos de datos SMALLINT, INTEGER, BIGINT, DECIMAL, CHAR, VARCHAR, DATE, TIMESTAMP o TIMESTAMPTZ tienen asignada la compresión AZ64.

Las columnas que se definen como tipos de datos CHAR o VARCHAR tienen asignada la compresión LZO.

Me sorprendiio la velocidad, en serio… muy sorprendente

sentí mucha adrenalina al ejecutar ese producto cartesiano 😏

SELECT * FROM venue LIMIT 10;
SELECT COUNT(0) FROM venue;
SELECT COUNT(*) FROM listing;
SELECT COUNT(*) FROM cartesian_venue;

SELECT venueid, venuename, venuecity, venuestate, venueseats
FROM venue
LIMIT 10;

CREATE TABLE cartesian_venue as(
SELECT venueid, venuename, venuecity, venuestate, venueseats
FROM venue, listing);

SELECT *
FROM cartesian_venue
LIMIT 10;

CREATE TABLE encoding_venue (
nameraw varchar(100) encode raw,
namebytedict varchar(100) encode bytedict,
namelzo varchar(100) encode lzo,
namerunlength varchar(100) encode runlength,
nametext255 varchar(100) encode text255,
nametext32k varchar(100) encode text32k,
namezstd varchar(100) encode zstd
);

INSERT INTO encoding_venue 
(
SELECT venuename, venuename, venuename, venuename, venuename, venuename, venuename
FROM cartesian_venue 
);

SELECT * FROM encoding_venue LIMIT 10;

SELECT COUNT(0)
FROM encoding_venue;

Y no son solo 38.8M de datos, es eso multiplicado por 7 columnas PUFFF!!

Eso fue mas rápido que El Rayo McQueen!

Topics Compression encodings:

Raw encoding
AZ64 encoding
Byte-dictionary encoding
Delta encoding
LZO encoding
Mostly encoding
Runlength encoding
Text255 and Text32k encodings
Zstandard encoding