Un Data Warehouse es esencial para realizar procesos de analítica y toma de decisiones, en especial para los proyectos de Bussines Intelligence (BI) de cualquier empresa.
Data Warehouse vs. Bases de Datos convencionales
El Data Warehouse concentra y almacena de forma estructurada toda la información obtenida a partir de las múltiples fuentes de datos en nuestra organización, permitiendo así una rápida integración con herramientas de minería de datos, análisis y reportes (dashboards).
Funciona un poco diferente a las bases de datos convencionales (OLTP - OnLine Transactional Processing). Como su nombre lo indica, manejan los datos transaccionales y los datos de cara a los procesos principales de la organización. Al ser transaccionales comúnmente manejan segundo a segundo operaciones de consulta, inserción, borrado y actualización de datos según los requerimientos del usuario (por ejemplo, una reserva de cine).
Los Data Warehouse usan OLAP (OnLine Analytical Processing). Son datos que, aunque no están disponibles en tiempo real, pueden ser analizados de forma rápida y masiva sin interrumpir los procesos del usuario. Esto le otorga a los científicos de datos una perspectiva más amplia para tomar decisiones (por ejemplo, total de ventas a través del tiempo). Como el Data Warehouse está diseñado con una finalidad analítica, este proceso puede llegar a ser hasta 1000 veces más rápido que una base de datos convencional.
Fuente: Expertos en Data Warehouse - Mistral Business Solutions.
¿Cuál es el origen de los datos?
El origen de los datos puede ser tan variado como tu organización lo sea. Puedes encontrar fuentes de datos de CRMs (Customer Relationship Management), ERPs (Enterprise Resource Planning), archivos en formato CSV, Bases de Datos OLTP, datos provenientes de la web (Web Scrapping), entre muchos otros.
Así como existen múltiples fuentes de información, encontramos múltiples tipos de formatos de datos. Los cuales, mediante un proceso de ETL, podemos llevarlos a una estructura óptima para su posterior análisis.
¿Qué es un ETL? El proceso de Extracción, Tranformación y Carga de Datos
¿Cómo es la estructura de un Data Warehouse?
La estructura más simple qué encuentras en un Data Warehouse es aquella cuyos datos mantienen su formato bruto (RAW) junto con sus metadatos (datos que describen otros datos). En conjunto están listos para ser explorados y analizados con técnicas de Data Mining.
Una segunda estructura son los datos procesados. Previamente se les han aplicado técnicas de limpieza y están diseñados para diferentes grupos de tu organización, como el área de inteligencia de negocios, donde las estructuras de datos tienen una relación de dimensiones y tablas de hechos. Una dimensión representa una característica de tu negocio y los hechos son métricas de interés que quieres desglosar mediante las dimensiones antes mencionadas.
¿Intuición o datos? La respuesta es Business Intelligence
Una estructura más compleja son los Data Marts, subconjuntos orientados a un caso en particular (como el Data Mart de contabilidad o ventas). Por lo general podemos tener múltiples Data Marts dependiendo del número de departamentos o proyectos en la empresa.
¿Cuáles son los Data Warehouse más populares?
- Amazon RedShift
- Google BigQuery
- Oracle
- Microsoft Azure Synapse
- Cloudera
¿Vale la pena aprender?
¡Sin duda! La demanda actual de datos es gigantesca. Los datos se definen como el petróleo de la economía actual y cualquier empresa u organización de la era actual necesitará una gran estructura de datos para la toma de decisiones.
Te recomiendo seguir los siguientes cursos para iniciar tu camino en convertirte en una gran Data Scientist:
- Curso Profesional de Ciencia de Datos
- Curso de Fundamentos de Estadística y Análisis de Datos con Python
- Curso de Manipulación y Análisis de Datos con Pandas y Python
¡Te espero en la nueva Escuela de Data Science de Platzi!
#NuncaParesDeAprender
Curso Práctico de Bases de Datos en AWS
