¿Qué es un Data Warehouse?
Curso Práctico de Bases de Datos en AWS
Un Data Warehouse es esencial para realizar procesos de analítica y toma de decisiones, en especial para los proyectos de Bussines Intelligence (BI) de cualquier empresa.
Data Warehouse vs. Bases de Datos convencionales
El Data Warehouse concentra y almacena de forma estructurada toda la información obtenida a partir de las múltiples fuentes de datos en nuestra organización, permitiendo así una rápida integración con herramientas de minería de datos, análisis y reportes (dashboards).
Funciona un poco diferente a las bases de datos convencionales (OLTP - OnLine Transactional Processing). Como su nombre lo indica, manejan los datos transaccionales y los datos de cara a los procesos principales de la organización. Al ser transaccionales comúnmente manejan segundo a segundo operaciones de consulta, inserción, borrado y actualización de datos según los requerimientos del usuario (por ejemplo, una reserva de cine).
Los Data Warehouse usan OLAP (OnLine Analytical Processing). Son datos que, aunque no están disponibles en tiempo real, pueden ser analizados de forma rápida y masiva sin interrumpir los procesos del usuario. Esto le otorga a los científicos de datos una perspectiva más amplia para tomar decisiones (por ejemplo, total de ventas a través del tiempo). Como el Data Warehouse está diseñado con una finalidad analítica, este proceso puede llegar a ser hasta 1000 veces más rápido que una base de datos convencional.
Fuente: Expertos en Data Warehouse - Mistral Business Solutions.
¿Cuál es el origen de los datos?
El origen de los datos puede ser tan variado como tu organización lo sea. Puedes encontrar fuentes de datos de CRMs (Customer Relationship Management), ERPs (Enterprise Resource Planning), archivos en formato CSV, Bases de Datos OLTP, datos provenientes de la web (Web Scrapping), entre muchos otros.
Así como existen múltiples fuentes de información, encontramos múltiples tipos de formatos de datos. Los cuales, mediante un proceso de ETL, podemos llevarlos a una estructura óptima para su posterior análisis.
¿Qué es un ETL? El proceso de Extracción, Tranformación y Carga de Datos
¿Cómo es la estructura de un Data Warehouse?
La estructura más simple qué encuentras en un Data Warehouse es aquella cuyos datos mantienen su formato bruto (RAW) junto con sus metadatos (datos que describen otros datos). En conjunto están listos para ser explorados y analizados con técnicas de Data Mining.
Una segunda estructura son los datos procesados. Previamente se les han aplicado técnicas de limpieza y están diseñados para diferentes grupos de tu organización, como el área de inteligencia de negocios, donde las estructuras de datos tienen una relación de dimensiones y tablas de hechos. Una dimensión representa una característica de tu negocio y los hechos son métricas de interés que quieres desglosar mediante las dimensiones antes mencionadas.
¿Intuición o datos? La respuesta es Business Intelligence
Una estructura más compleja son los Data Marts, subconjuntos orientados a un caso en particular (como el Data Mart de contabilidad o ventas). Por lo general podemos tener múltiples Data Marts dependiendo del número de departamentos o proyectos en la empresa.
¿Cuáles son los Data Warehouse más populares?
- Amazon RedShift
- Google BigQuery
- Oracle
- Microsoft Azure Synapse
- Cloudera
¿Vale la pena aprender?
¡Sin duda! La demanda actual de datos es gigantesca. Los datos se definen como el petróleo de la economía actual y cualquier empresa u organización de la era actual necesitará una gran estructura de datos para la toma de decisiones.
Te recomiendo seguir los siguientes cursos para iniciar tu camino en convertirte en una gran Data Scientist:
- Curso Profesional de Ciencia de Datos
- Curso de Fundamentos de Estadística y Análisis de Datos con Python
- Curso de Manipulación y Análisis de Datos con Pandas y Python
¡Te espero en la nueva Escuela de Data Science de Platzi!
#NuncaParesDeAprender
Curso Práctico de Bases de Datos en AWS
Muy interesante esto sobre Data Warehouse… estuve investigando un poco más y me encontré con esta imagen
.
Esto es fantástico ! no puedo imaginarme los grandes volúmenes de datos…
A pesar de que los datawarehouse sean antiguos aún son usados. ¿o no?
Por supuesto que se los sigue usando
muchas gracias por el aporte
Graciaspor compartir 😃
Excelente aporte 😃
Genial, y que tan usados son los Data LakeHouse?
También me gustaría aprender más de Data LakeHouses
Excelente explicación !!!
Justo estamos usando un dataWarehouse en donde trabajo, pero no utilizamos ninguno de esos, la empresa decidió utilizar SnowFlake. Si alguno tiene alguna duda más a fondo con gusto le contesto
Excelente post! Trabajé durante un año haciendo este tipo de cosas en BI. Sobretodo, estaba encargada de los procesos etl y en armar la arquitectura del Data warehouse. Usé SQL server, analysis services e integration services. Además usábamos Power bi para presentar la reporteria y R.
Cuál es la diferencia entre Data Lake y Data Warehouse?
El Data Lake lo entemos como una base de datos que de momento no vamos a usar pero la guardamos para más adelante, ya vez que “uno nunca sabe”
Muy interesante, estar a la vanguardia con estos temas 😃
Es realmente interesante como la tecnología a través de los años ha ido cambiando. Y hoy por hoy una herramienta como lo es data warehouse es de mucha ayuda para tener un conjunto de datos de diferentes fuentes. De esa manera obtener información para tomar decisiones.
Totalmente de acuerdo!..todo ha cambiado significativamente y es bueno aprender y aprovechar! 😃
totalmente de acuerdo ¡ … hay que educarnos con la tecnologia de vanguardia ¡ a darle
Durante la carrera de Ingenieria industrial pude ver los sistemas de datos pero todo era muy abstracto para mi. Ahora los terminos CRMs, ERPs, OLTP tienen todo el sentido gracias a la escuela de Data Science
Excelente post, pienso que hay muchas organizaciones que, a pesar de tener un DWH aun no aprovechan su potencial, les caería bastante bien el curso de Ciencia de Datos
Creo que a grandes rasgos está bien, si veo importante mencionar algunos puntos:
Cuando mencionas los Data Warehouse más populares, creo que es importante mencionar que son las herramientas de DW más importantes, la importancia es cómo están estructuradas las tablas en estas. El hecho de trabajar con alguna de esas herramientas no convierte necesariamente lo que se construya en un Data Warehouse (sin estructuras, son simplemente repositorios de tablas).
El enfoque comentado acá es más el de Kimball, que la solución (Datawarehouse) se ve como un modelo dimensional, adicional a la visión de Kimball está el de Inmon que propone un DataWarehouse como una BD relacional, que contiene una normalización de los datos y a partir de este se propone desarrollas las BD dimensionales (Datamarts).
Acá un link de esto:
https://www.astera.com/es/type/blog/data-warehouse-concepts/
Me ha gustado mucho utilizar BigQuery 😃
Hola David, estoy tomando tu curso de manipulación de datos en google colabs. He guardado un archivo csv en mi drive pero cuando quiero leerlo me aparece desordenado. Estoy siguiendo las instrucciones exactamente como dices en el curso, incluso he revidsado el codigo que publicas en la seccion de comentarios. Por que podria estar pasando.?
Disculpa por la molestia es que nadie ha podido ayudarme con esto
Hola. Espero ya pudieras resolver el problema. De lo contrario, intenta con esto:
Intenta, talvez sea porque es un arreglo dentro de otro.
epico
Gracias !!! Excelente contexto para quienes iniciamos el aprendizaje.
Interesante 😃
Que buena información, bien explicado, espero poder aprender más de esta área.
Es interesante el despliegue que se le puede dar a los datos.
Muy buen Post!, aunque no que queda muy claro lo del Data Mart, este se lo crea a partir del Data WareHouse?, o es un almacenamiento por decirlo asì paralelo al DW?
Interesante información
Para esos cursos que compartes es imperativo ya saber programar de antemano?
Sí señor
Ok. Gracias.
Te recomiendo seguir esta Ruta de Aprendizaje: https://platzi.com/data
Excelente explicación David!
Excelente articulo, muy claro los conceptos.
Wuao estoy impresionado al ver el mundo tan gigante que abarca en los data cience
Bastante interesante …!!!
Me ha quedo muy claro. Con deseos de aprender mas!
“Los datos se definen como el petróleo de la economía actual y cualquier empresa u organización de la era actual necesitará una gran estructura de datos para la toma de decisiones.” Me encanto el articulo y aprendi!! gracias!! 😃
Excelente Curso de Análisis de Negocios para Ciencia de Datos
Muy buena explicación,
Buen resumen, hace poco que vengo laborando en una compañía transnacional del sector banca, y fue donde conocí la herramienta de google bigquery, lugar donde se encuentra alojado el data marth del área de fraude, para mi buena suerte la sintaxis de las consultas al data marth (bigquery) hasta ahora lo veo idéntico a sql server, y el poder y velocidad de procesamiento en la nube es increíble.
Gracias por la contribución al entendimiento de Big Data.
Excelente post, me fue de mucha ayuda. genial!
Soy nuevo en esto. Me decidí por entrar al mundo de los datos, y veo lo complejo e interesante que es todo esto, un mundo por descubrir.
entendido! O por lo menos eso creo. Investigaré mucho más.
Muchas gracias, explicado de manera simple el tema y es mu digerible y fácil de entender.
Gracias por la explicación.
Excelente post, estoy iniciando en la Escuela de Data Science y este post me ha dado mucho contexto!
Gracias por la explicación, me sirvió mucho.
gracias por este articulo, veo que puedo enfocar la curiosidad a cualquier lugar donde tenga datos y quiera obtener respuesta de algo o encontrar soluciones, por patrones de comportamiento
Muy buena explicación, aunque tengo una duda: En la escuela de Data Science no debería estar incluido el Curso Profesional de Ciencia de Datos?
Interesante y muy claro.