Un Data Warehouse es esencial para realizar procesos de analítica y toma de decisiones, en especial para los proyectos de Bussines Intelligence (BI) de cualquier empresa.
El Data Warehouse concentra y almacena de forma estructurada toda la información obtenida a partir de las múltiples fuentes de datos en nuestra organización, permitiendo así una rápida integración con herramientas de minería de datos, análisis y reportes (dashboards).
Funciona un poco diferente a las bases de datos convencionales (OLTP - OnLine Transactional Processing). Como su nombre lo indica, manejan los datos transaccionales y los datos de cara a los procesos principales de la organización. Al ser transaccionales comúnmente manejan segundo a segundo operaciones de consulta, inserción, borrado y actualización de datos según los requerimientos del usuario (por ejemplo, una reserva de cine).
Los Data Warehouse usan OLAP (OnLine Analytical Processing). Son datos que, aunque no están disponibles en tiempo real, pueden ser analizados de forma rápida y masiva sin interrumpir los procesos del usuario. Esto le otorga a los científicos de datos una perspectiva más amplia para tomar decisiones (por ejemplo, total de ventas a través del tiempo). Como el Data Warehouse está diseñado con una finalidad analítica, este proceso puede llegar a ser hasta 1000 veces más rápido que una base de datos convencional.
Fuente: Expertos en Data Warehouse - Mistral Business Solutions.
El origen de los datos puede ser tan variado como tu organización lo sea. Puedes encontrar fuentes de datos de CRMs (Customer Relationship Management), ERPs (Enterprise Resource Planning), archivos en formato CSV, Bases de Datos OLTP, datos provenientes de la web (Web Scrapping), entre muchos otros.
Así como existen múltiples fuentes de información, encontramos múltiples tipos de formatos de datos. Los cuales, mediante un proceso de ETL, podemos llevarlos a una estructura óptima para su posterior análisis.
¿Qué es un ETL? El proceso de Extracción, Tranformación y Carga de Datos
La estructura más simple qué encuentras en un Data Warehouse es aquella cuyos datos mantienen su formato bruto (RAW) junto con sus metadatos (datos que describen otros datos). En conjunto están listos para ser explorados y analizados con técnicas de Data Mining.
Una segunda estructura son los datos procesados. Previamente se les han aplicado técnicas de limpieza y están diseñados para diferentes grupos de tu organización, como el área de inteligencia de negocios, donde las estructuras de datos tienen una relación de dimensiones y tablas de hechos. Una dimensión representa una característica de tu negocio y los hechos son métricas de interés que quieres desglosar mediante las dimensiones antes mencionadas.
¿Intuición o datos? La respuesta es Business Intelligence
Una estructura más compleja son los Data Marts, subconjuntos orientados a un caso en particular (como el Data Mart de contabilidad o ventas). Por lo general podemos tener múltiples Data Marts dependiendo del número de departamentos o proyectos en la empresa.
¡Sin duda! La demanda actual de datos es gigantesca. Los datos se definen como el petróleo de la economía actual y cualquier empresa u organización de la era actual necesitará una gran estructura de datos para la toma de decisiones.
Te recomiendo seguir los siguientes cursos para iniciar tu camino en convertirte en una gran Data Scientist:
¡Te espero en la nueva Escuela de Data Science de Platzi!
#NuncaParesDeAprender
Genial, y que tan usados son los Data LakeHouse?
También me gustaría aprender más de Data LakeHouses
Muy interesante, estar a la vanguardia con estos temas 😃
Excelente explicación !!!
Justo estamos usando un dataWarehouse en donde trabajo, pero no utilizamos ninguno de esos, la empresa decidió utilizar SnowFlake. Si alguno tiene alguna duda más a fondo con gusto le contesto
Cuál es la diferencia entre Data Lake y Data Warehouse?
Me ha gustado mucho utilizar BigQuery 😃
Es realmente interesante como la tecnología a través de los años ha ido cambiando. Y hoy por hoy una herramienta como lo es data warehouse es de mucha ayuda para tener un conjunto de datos de diferentes fuentes. De esa manera obtener información para tomar decisiones.
Excelente post, pienso que hay muchas organizaciones que, a pesar de tener un DWH aun no aprovechan su potencial, les caería bastante bien el curso de Ciencia de Datos
Para esos cursos que compartes es imperativo ya saber programar de antemano?
Sí señor
Ok. Gracias.
Te recomiendo seguir esta Ruta de Aprendizaje: https://platzi.com/data
Interesante información
Excelente post! Trabajé durante un año haciendo este tipo de cosas en BI. Sobretodo, estaba encargada de los procesos etl y en armar la arquitectura del Data warehouse. Usé SQL server, analysis services e integration services. Además usábamos Power bi para presentar la reporteria y R.
Muy buen Post!, aunque no que queda muy claro lo del Data Mart, este se lo crea a partir del Data WareHouse?, o es un almacenamiento por decirlo asì paralelo al DW?