Un Data Warehouse es esencial para realizar procesos de analítica y toma de decisiones, en especial para los proyectos de Bussines Intelligence (BI) de cualquier empresa.
El Data Warehouse concentra y almacena de forma estructurada toda la información obtenida a partir de las múltiples fuentes de datos en nuestra organización, permitiendo así una rápida integración con herramientas de minería de datos, análisis y reportes (dashboards).
Funciona un poco diferente a las bases de datos convencionales (OLTP - OnLine Transactional Processing). Como su nombre lo indica, manejan los datos transaccionales y los datos de cara a los procesos principales de la organización. Al ser transaccionales comúnmente manejan segundo a segundo operaciones de consulta, inserción, borrado y actualización de datos según los requerimientos del usuario (por ejemplo, una reserva de cine).
Los Data Warehouse usan OLAP (OnLine Analytical Processing). Son datos que, aunque no están disponibles en tiempo real, pueden ser analizados de forma rápida y masiva sin interrumpir los procesos del usuario. Esto le otorga a los científicos de datos una perspectiva más amplia para tomar decisiones (por ejemplo, total de ventas a través del tiempo). Como el Data Warehouse está diseñado con una finalidad analítica, este proceso puede llegar a ser hasta 1000 veces más rápido que una base de datos convencional.
Fuente: Expertos en Data Warehouse - Mistral Business Solutions.
El origen de los datos puede ser tan variado como tu organización lo sea. Puedes encontrar fuentes de datos de CRMs (Customer Relationship Management), ERPs (Enterprise Resource Planning), archivos en formato CSV, Bases de Datos OLTP, datos provenientes de la web (Web Scrapping), entre muchos otros.
Así como existen múltiples fuentes de información, encontramos múltiples tipos de formatos de datos. Los cuales, mediante un proceso de ETL, podemos llevarlos a una estructura óptima para su posterior análisis.
¿Qué es un ETL? El proceso de Extracción, Tranformación y Carga de Datos
La estructura más simple qué encuentras en un Data Warehouse es aquella cuyos datos mantienen su formato bruto (RAW) junto con sus metadatos (datos que describen otros datos). En conjunto están listos para ser explorados y analizados con técnicas de Data Mining.
Una segunda estructura son los datos procesados. Previamente se les han aplicado técnicas de limpieza y están diseñados para diferentes grupos de tu organización, como el área de inteligencia de negocios, donde las estructuras de datos tienen una relación de dimensiones y tablas de hechos. Una dimensión representa una característica de tu negocio y los hechos son métricas de interés que quieres desglosar mediante las dimensiones antes mencionadas.
¿Intuición o datos? La respuesta es Business Intelligence
Una estructura más compleja son los Data Marts, subconjuntos orientados a un caso en particular (como el Data Mart de contabilidad o ventas). Por lo general podemos tener múltiples Data Marts dependiendo del número de departamentos o proyectos en la empresa.
¡Sin duda! La demanda actual de datos es gigantesca. Los datos se definen como el petróleo de la economía actual y cualquier empresa u organización de la era actual necesitará una gran estructura de datos para la toma de decisiones.
Te recomiendo seguir los siguientes cursos para iniciar tu camino en convertirte en una gran Data Scientist:
¡Te espero en la nueva Escuela de Data Science de Platzi!
#NuncaParesDeAprender
Genial, y que tan usados son los Data LakeHouse?
También me gustaría aprender más de Data LakeHouses
Excelente explicación !!!
Justo estamos usando un dataWarehouse en donde trabajo, pero no utilizamos ninguno de esos, la empresa decidió utilizar SnowFlake. Si alguno tiene alguna duda más a fondo con gusto le contesto
Excelente post! Trabajé durante un año haciendo este tipo de cosas en BI. Sobretodo, estaba encargada de los procesos etl y en armar la arquitectura del Data warehouse. Usé SQL server, analysis services e integration services. Además usábamos Power bi para presentar la reporteria y R.
Muy interesante esto sobre Data Warehouse… estuve investigando un poco más y me encontré con esta imagen
.
Esto es fantástico ! no puedo imaginarme los grandes volúmenes de datos…
Cuál es la diferencia entre Data Lake y Data Warehouse?
El Data Lake lo entemos como una base de datos que de momento no vamos a usar pero la guardamos para más adelante, ya vez que “uno nunca sabe”
Es realmente interesante como la tecnología a través de los años ha ido cambiando. Y hoy por hoy una herramienta como lo es data warehouse es de mucha ayuda para tener un conjunto de datos de diferentes fuentes. De esa manera obtener información para tomar decisiones.
Totalmente de acuerdo!..todo ha cambiado significativamente y es bueno aprender y aprovechar! 😃
Muy interesante, estar a la vanguardia con estos temas 😃
Hola David, estoy tomando tu curso de manipulación de datos en google colabs. He guardado un archivo csv en mi drive pero cuando quiero leerlo me aparece desordenado. Estoy siguiendo las instrucciones exactamente como dices en el curso, incluso he revidsado el codigo que publicas en la seccion de comentarios. Por que podria estar pasando.?
Disculpa por la molestia es que nadie ha podido ayudarme con esto
Hola. Espero ya pudieras resolver el problema. De lo contrario, intenta con esto:
Intenta, talvez sea porque es un arreglo dentro de otro.
Excelente post, pienso que hay muchas organizaciones que, a pesar de tener un DWH aun no aprovechan su potencial, les caería bastante bien el curso de Ciencia de Datos
Me ha gustado mucho utilizar BigQuery 😃
Muy buen Post!, aunque no que queda muy claro lo del Data Mart, este se lo crea a partir del Data WareHouse?, o es un almacenamiento por decirlo asì paralelo al DW?
Interesante información
Para esos cursos que compartes es imperativo ya saber programar de antemano?
Sí señor
Ok. Gracias.
Te recomiendo seguir esta Ruta de Aprendizaje: https://platzi.com/data
Excelente explicación David!
Excelente articulo, muy claro los conceptos.
Wuao estoy impresionado al ver el mundo tan gigante que abarca en los data cience
Bastante interesante …!!!
Me ha quedo muy claro. Con deseos de aprender mas!
“Los datos se definen como el petróleo de la economía actual y cualquier empresa u organización de la era actual necesitará una gran estructura de datos para la toma de decisiones.” Me encanto el articulo y aprendi!! gracias!! 😃
Creo que a grandes rasgos está bien, si veo importante mencionar algunos puntos:
Cuando mencionas los Data Warehouse más populares, creo que es importante mencionar que son las herramientas de DW más importantes, la importancia es cómo están estructuradas las tablas en estas. El hecho de trabajar con alguna de esas herramientas no convierte necesariamente lo que se construya en un Data Warehouse (sin estructuras, son simplemente repositorios de tablas).
El enfoque comentado acá es más el de Kimball, que la solución (Datawarehouse) se ve como un modelo dimensional, adicional a la visión de Kimball está el de Inmon que propone un DataWarehouse como una BD relacional, que contiene una normalización de los datos y a partir de este se propone desarrollas las BD dimensionales (Datamarts).
Acá un link de esto:
https://www.astera.com/es/type/blog/data-warehouse-concepts/
Gracias por la explicación, me sirvió mucho.
Excelente post, estoy iniciando en la Escuela de Data Science y este post me ha dado mucho contexto!
Muchas gracias, explicado de manera simple el tema y es mu digerible y fácil de entender.
Gracias por la explicación.
gracias por este articulo, veo que puedo enfocar la curiosidad a cualquier lugar donde tenga datos y quiera obtener respuesta de algo o encontrar soluciones, por patrones de comportamiento
Muy buena explicación, aunque tengo una duda: En la escuela de Data Science no debería estar incluido el Curso Profesional de Ciencia de Datos?
Interesante y muy claro.