Data Warehouse, Data Lake y Data Lakehouse: ¿Cuál utilizar? - Platzi

Curso de Data Warehousing y Modelado OLAP

Curso de Data Warehousing y Modelado OLAP

Introducción a BI y Data Warehouse

¿Qué es BI y Data Warehousing?

Niveles de analítica y jerarquía del conocimiento

Conceptos de BI: Data Warehouse, Data Mart, Dimensiones y Hechos

Base de datos OLTP vs. OLAP

Metodologías de Data Warehouse

Quiz: Introducción a BI y Data Warehouse

Modelos dimensionales

Data Warehouse, Data Lake y Data Lakehouse: ¿Cuál utilizar?

Tipos de esquemas dimensionales

Dimensiones lentamente cambiantes

Dimensión tipo 1

Dimensión tipo 2

Dimensión tipo 3

Tabla de hechos (fact)

Configuración de herramientas para Data Warehouse y ETL

Modelado dimensional: identificación de dimensiones y métricas

Modelado dimensional: diseño de modelo

Quiz: Modelos dimensionales

ETL para inserción en Data Warehouse

Documento de mapeo

Creación del modelo físico

Extracción: querys en SQL

Extracción en Pentaho

Transformación: dimensión de cliente

Carga: dimensión de cliente

Soluciones ETL de las tablas de dimensiones y hechos

Parámetros en ETL

Orquestar ETL en Pentaho: job

Revisión de todo el ETL

Quiz: ETL para inserción en Data Warehouse

Cierre

Reflexiones y cierre

No tienes acceso a esta clase

¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera

Si ya tienes una cuenta,

Recursos

¿Qué es un Data Warehouse, Data Lake y Data Lake House?

El mundo del almacenamiento de datos ofrece un amplio abanico de opciones que se adaptan a diversas necesidades empresariales y tecnológicas. Entender la diferencia entre Data Warehouse, Data Lake y Data Lake House es fundamental para saber cómo optimizar la gestión de la información en cualquier organización. Estos conceptos no solo varían en cuanto a su estructura y tipo de datos que pueden manejar, sino también en sus aplicaciones y beneficios.

¿Qué es un Data Warehouse?

Un Data Warehouse es un repositorio centralizado enfocado en almacenar información estructurada proveniente de diversas fuentes, como bases de datos, archivos planos o CSVs. Este tipo de almacenamiento es ideal para las organizaciones que precisan tomar decisiones basadas en análisis detallados de datos estructurados. Aquí se suelen implementar procesos de ETL (Extract, Transform, Load) para preparar y transferir los datos a un formato usable.

Características de un Data Warehouse:

Almacena solo datos estructurados.
Requiere un esquema predefinido antes de la ingesta de datos.
Ofrece alta calidad de información al incluir procesos de limpieza de datos.
Está orientado a usuarios del negocio para análisis y toma de decisiones.

¿Qué es un Data Lake?

Por otro lado, el Data Lake representa un enfoque más flexible. Este repositorio permite almacenar no solo datos estructurados, sino también datos no estructurados y semiestructurados. En un Data Lake, se pueden encontrar imágenes, videos, datos de dispositivos IoT, redes sociales y mucho más. Almacenando la información en su forma original, se otorga la capacidad de realizar análisis profundos sin necesidad de una estructura previa.

Características de un Data Lake:

Almacena datos de todo tipo: estructurado, no estructurado y semiestructurado.
No requiere un esquema definido antes de almacenar los datos.
La calidad de datos puede mejorarse posteriormente, dado que inicialmente se almacena de manera cruda.
Está dirigido más a analistas de tecnología en busca de patrones y tendencias.

¿Qué es un Data Lake House?

El Data Lake House es una evolución que combina las mejores características del Data Warehouse y el Data Lake. Este concepto innovador busca ofrecer la flexibilidad del Data Lake con la estructura y calidad del Data Warehouse.

Ventajas del Data Lake House:

Da soporte a datos estructurados y no estructurados, permitiendo consultas eficientes.
Permite herramientas especializadas de AWS o Azure para el consumo y análisis de datos.
Ofrece una amplia gama de posibilidades analíticas, desde la toma de decisiones hasta aplicaciones más avanzadas en ciencia de datos y Machine Learning.

Diferencias metodológicas entre Data Warehouse, Data Lake y Data Lake House

Para decidir cuál de estas soluciones es más adecuada para una organización, es importante entender las diferencias en sus metodologías y aplicaciones.

Datos y esquemas

Data Warehouse: Requiere un esquema predefinido y está limitado a datos estructurados.
Data Lake: Esquemas flexibles que se adaptan a los datos en bruto.
Data Lake House: Combina la flexibilidad del Data Lake con la estructura del Data Warehouse.

Calidad del dato

Data Warehouse: Ofrece alta calidad de datos mediante limpieza previa al almacenamiento.
Data Lake: Mejora la calidad de datos posteriormente debido a su naturaleza de almacenar datos crudos incialmente.
Data Lake House: Permite una estructura y calidad optimizada a través de la conjunción de ambos enfoques.

Usuario final

Data Warehouse: Dirigido a usuarios del negocio enfocados en decisiones basadas en datos.
Data Lake: Orientado a analistas de tecnología y científicos de datos.
Data Lake House: Atiende tanto a perfiles técnicos como de negocio.

Recomendaciones para implementar un sistema de almacenamiento de datos

Si estás considerando implementar uno de estos sistemas, aquí te ofrecemos algunas sugerencias:

Identifica las necesidades de tu negocio: Evalúa primero qué tipo de datos necesitas gestionar y el uso que le dará tu organización.
Analiza tus recursos tecnológicos: Considera las capacidades tecnológicas de tu equipo y las herramientas que tienes a disposición para elegir la solución más acertada.
Planea el volumen y velocidad de los datos: Conoce el volumen de datos que esperas manejar y la frecuencia de actualización para determinar si necesitas la rápida flexibilidad de un Data Lake o la estructura de un Data Warehouse.
Considera la seguridad de datos: Evalúa los niveles de seguridad, ya que aunque todos los sistemas ofrecen mecanismos de protección, la naturaleza y la sensibilidad de los datos pueden influir en la decisión de elegir una solución.

Estas plataformas son fundamentales en el mundo del análisis de datos, y elegir la adecuada puede potenciar significativamente la capacidad analítica de cualquier organización, velando siempre por una correcta implementación acorde a las necesidades empresariales y tecnológicas. ¡Sigue explorando y potenciando tu comprensión sobre la gestión de datos!

Aportes 9

Preguntas 2

Ordenar por:

¿Quieres ver más aportes, preguntas y respuestas de la comunidad?

Miguel Andres Castro Bocarejo

Un resumen de la clase:

- Data Warehouse

Repositorio que alberga datos estructurados (es decir con una estructura clara y definida) a través de un proceso de ETL y los disponibiliza para hacer minería de datos, reportes y analítica.
Está optimizado para analizar datos con estructuras predefinidas y que dicha estructura ayude que esos datos se vuelvan una “fuente única de la verdad”.
Es comunmente usado por los Business Analysts.

- Data Lake

Repositorio de datos estructurados (Se cargan desde el Data Warehouse con un proceso de ETL), semi-estructurados y no-estructurados que pueden ser facilmente consultados luego de algún tratamiento en los datos dependiendo de la necesidad de la consulta.
Se pueden almacenar datos facilmente sin necesidad de una estructura previa y pueden ser usados por Data Scientists/Engineers y Data Analysts.

- Data Lakehouse

Es lo mejor del Data Warehouse (Los datos estructurados no requieren un proceso de ETL previo) y del Data Lake.
Permite consumir los datos almacenados allí rápidamente con diferente propósitos como BI, reportes, Data Science y ML.

Carlos Eduardo Bracho Rosales

Es buena idea repasar la clase de los conceptos base de ETL antes de iniciar este modulo.

Krizia Arias

ojo que cuando va a mencionar los schema del datawarehouse dice datalake y no datawarehouse. tener en cuenta que datawarehouse debe tener estructura para ser ejecutado y el datalake **no necesita** ninguna estructura para ser ejecutado.

Mario Alexander Vargas Celis

La elección entre **Data Warehouse**, **Data Lake** y **Data Lakehouse** depende de los requisitos específicos del negocio y los tipos de datos que se manejan. A continuación te explico en qué se diferencian y cuándo podría ser más adecuado utilizar cada uno: ### 1. **Data Warehouse (DW)** * **Propósito**: Un Data Warehouse es un sistema de almacenamiento de datos estructurados que está optimizado para la **consulta y el análisis de grandes volúmenes de datos transaccionales**. Los datos en un DW suelen estar transformados y limpiados antes de ser cargados. * **Características**: * Almacena **datos estructurados** (tablas, registros). * Utiliza procesos ETL (Extracción, Transformación y Carga) para integrar datos de diversas fuentes. * Es ideal para realizar **análisis histórico y consultas complejas**. * **Cuándo usarlo**: * Si tienes datos bien definidos y estructurados. * Necesitas informes y análisis consistentes a lo largo del tiempo (como ventas, finanzas, KPIs). * El rendimiento en consultas analíticas rápidas y complejas es clave. ### 2. **Data Lake** * **Propósito**: Un Data Lake es un repositorio que puede almacenar **datos sin procesar** en su forma original. Puede contener datos estructurados, semi-estructurados (JSON, XML) y no estructurados (archivos de texto, imágenes, videos). * **Características**: * Almacena datos en su formato original (sin necesidad de transformación). * Es más **económico** en términos de almacenamiento masivo. * Ideal para **big data** y análisis exploratorios, ya que permite almacenar grandes volúmenes de datos sin preocuparse por su forma. * **Cuándo usarlo**: * Si necesitas almacenar datos de diferentes fuentes y tipos. * Tienes grandes volúmenes de datos, incluyendo datos no estructurados. * Quieres realizar análisis de datos sin un esquema predefinido, como análisis de logs, datos de IoT o datos de redes sociales. ### 3. **Data Lakehouse** * **Propósito**: El Data Lakehouse combina las ventajas de un **Data Lake** y un **Data Warehouse**. Es un enfoque híbrido que ofrece la **flexibilidad** de almacenar datos en su forma cruda, como un Data Lake, pero también proporciona la **estructura** necesaria para consultas analíticas, similar a un Data Warehouse. * **Características**: * Almacena tanto **datos estructurados** como **no estructurados**. * **Compatibilidad con SQL** y soporte para análisis en tiempo real, lo que lo hace adecuado para BI tradicional. * Combina **esquemas de datos** en el almacenamiento de datos no procesados, lo que permite realizar análisis complejos sin perder la flexibilidad de los datos crudos. * **Cuándo usarlo**: * Si deseas almacenar **tanto datos estructurados como no estructurados** en un solo lugar. * Necesitas las **capacidades de un Data Warehouse** (como rendimiento en consultas analíticas) pero sin perder la flexibilidad de un Data Lake. * Buscas una **solución unificada** para análisis, machine learning, e inteligencia empresarial. ### ¿Cuál utilizar? * **Si tus datos son principalmente estructurados**, y necesitas análisis consistentes y rápidos, un **Data Warehouse** es la mejor opción. * **Si trabajas con grandes volúmenes de datos sin procesar** o necesitas almacenar datos no estructurados, un **Data Lake** es la opción adecuada. * **Si deseas lo mejor de ambos mundos**, un **Data Lakehouse** puede ser la opción perfecta, ya que combina la flexibilidad de los Data Lakes con las capacidades analíticas de los Data Warehouses. ### Resumen: * **Data Warehouse**: Ideal para datos estructurados y análisis tradicional. * **Data Lake**: Mejor para grandes volúmenes de datos variados y no estructurados. * **Data Lakehouse**: Combina lo mejor de ambos, permitiendo almacenar datos crudos y estructurados con capacidades analíticas robustas. La elección depende de tus necesidades de almacenamiento y análisis de datos.

Samuel Burelos Jerónimo

**DATA WAREHOUSE** El DWH se utiliza ya cuando se va a estructurar la información para hacer una única fuente de verdad. ![](https://static.platzi.com/media/user_upload/image%20%281%29-26cd7d5b-1e7d-48b9-afbb-5ba831d7c994.jpg) **DATA LAKE** El data Lake funciona como un almacén para todo tipo de información que se recibe en crudo, después se puede hacer un proceso de limpieza para mejorar la calidad de los datos, sin embargo, los datos para que tengan sentido se tienen que pasar a una Data WareHouse. ![](https://static.platzi.com/media/user_upload/image-88fb127a-db36-437e-95d9-8b1e3ab77390.jpg)

Daniel Guardia

A veces creo que el profe es hecho con IA

Edith Montes Polanco

Qué tal, una duda para el siguiente caso de uso:
Si mi origen de datos es únicamente de bases de datos transaccionales y dado que el mayor problema es realizar consultas (reportes) a dichas bases de datos debido a su exponencial tamaño (se reciben hasta 50 millones de transacciones diarias) …¿Lo conveniente en este caso sería implementar un data lake?
NOTA: Entiendo que sería obvio pensar sólo en un data warehouse dado que en este sólo se cargaría información ya “procesada” para facilitar los reportes. Sin embargo, el requisito adicional es poder obtener reportes con todo el detalle de dichas transacciones por lo que no creo conveniente cargar a un data warehouse toda la información tal cual como se encuentran en las bases de datos transaccionales sino tener la información cruda en s3 para dichos reportes detallados y de aquí ir generando el modelo en el data warehouse para reportes más globales…¿qué opinan?

Norberto Iván Tolaba

Ahora se me aclaró el tema de Data Lake, súper. Vi en una entrevista para Data Engineering que hicieron está pregunta y veo que es esencial saberlo

Bryan Carvajal