Data warehouse

La información ingresada al Data Warehouse debe pasar por el proceso ETL (Extract, Transform and Load). Este proceso que se explica con más detalle en otro artículo. Como se comenta más arriba la información ingresada al Data Warehouse debe ser integrada y limpia, objetivo que se logra a través del proceso ETL.

referencia…
Data Werehouse

En primer lugar, DW no es un producto que pueda ser comprado en el mercado, sino más bien un concepto que debe ser construido. DW es una combinación de conceptos y tecnología que cambian significativamente la manera en que es entregada la información a la gente de negocios. El objetivo principal es satisfacer los requerimientos de información internos de la empresa para una mejor gestión, con eficiencia y facilidad de acceso.

El DW puede verse como una bodega donde están almacenados todos los datos necesarios para realizar las funciones de gestión de la empresa, de manera que puedan utilizarse fácilmente según se necesiten.

Diferencia de Big Data y Data Warehouse

Supongamos que está la biblioteca central, donde se guardan todos los documentos históricos existentes para consultarlos de vez en cuando, ese seria el Data Warehouse.
Ahora imagínate esa misma biblioteca pero está tiene una cantidad masiva de libros que no son históricos, sino actuales, que te sirven y los puedes consultar más a menudo en comparación con el caso de los libros históricos de años muy pasados, ese seria el Big Data.

Hola, comparto esta información con el fin de evitar confusiones que se pueden dar al ver esta clase.

Yo trabajé por 12 años en un departamento de Business Intelligence en una aerolínea muy grande en latinoamérica, ahi construiamos el Data Warehouse Corporativo y con esa experiencia les puedo asegurar que un Data Warehouse no solo tiene datos históricos, aunque el mayor valor reside en tener la capacidad de consultar volumenes grandes de información, también puede contener información a futuro como presupuestos, venta que aún no ha sido materializada, etc.

El DW no es un repositorio para consulta histórica, o backups, sino que su propósito es habilitar la toma de decisiones basadas en datos y para esto contiene datos de diferentes sistemas, organizados de tal forma que permite la consulta rápida de grandes volúmenes de datos (históricos o no históricos) con propósitos analíticos, estos propósitos difícilmente pueden lograrse con diseños normalizados.

El diseño de un Data Warehouse requiere muchos conocimientos específicos de la materia, que no se pueden cubrir si solamente conocemos el modelado de bases de datos para aplicaciones (normalizados), por lo que si sería muy bueno tener un curso específico de Dimensional Modeling en Platzi! Dimensional Modeling es la mejor técnica de diseñar Data Warehouses. Acá dejo el libro de referencia para aprender Dimensional Modeling https://www.kimballgroup.com/data-warehouse-business-intelligence-resources/books/data-warehouse-dw-toolkit/

Ojo que hay dos grandes escuelas: Bottom-up o enfoque de Kimball y Top-down o enfoque de Inmon, ambos con sus ventajas y desventajas. Y ambos con soluciones muy diferentes por lo que es necesario conocer el enfoque del autor para evitar confusiones cuando consultamos información. Aquí un artículo muy breve que habla sobre ambos enfoques https://dwbimaster.com/bottom-up-vs-top-down-approach-in-data-warehouse/

Dejo acá también el link de The Data Warehouse Institute que es la organización líder a nivel mundial sobre Data Warehousing. https://tdwi.org/Home.aspx

Un Data Warehouse es una colección de datos

• orientada a sujetos
• integrada
• variante en el tiempo
• no volátil

que soporta el proceso de toma de decisiones. Un Data Warehouse soporta procesamiento informático,
brindando una sólida plataforma de datos históricos, integrados, de los cuales hacer análisis.

Encontre esta empresa que da un servicio de data warehouse
y te regalan su ebook gratuito para entender el data warehouse

Click aqui

Data Warehouse: Almacén de datos, se utiliza para almacenar grandes cantidades de datos de manera histórica una de las tipos de base de datos que se utiliza es big table o big Query.

Entre mas avanzo más me emociono

Data Warehouse
Satisfacen la necesidad de guardar masivas cantidades de datos históricos, lo que se conoce como archivo muerto, es decir son un almacén de datos. Tienen el fin analizar el historial de datos y generar conclusiones interesantes
Ejemplos

• Big Table → se guardan los datos en una sola tabla (Google)
• Big Query → almacena gran cantidad de datos optimizados para querys

Una curiosidad, que base de datos utilizaran aqui en platzi?, porque manejan bastante informacion con los posts, foro, blog, etc

Un data warehouse es un repositorio unificado para todos los datos que recogen los diversos sistemas de una empresa y que puede ser físico o lógico.

Vale, entonces prácticamente un Data Warehouse es la base de datos en la que podemos guardar información que ya rara vez es usada, me gustaría saber cómo interactua esto con las demas porque seguramente cuando necesitemos algo de ahí necesitaremos sacarla a la base de datos principal no?

Desde un enfoque empresarial, un DW es un deposito de datos histórico, integrado con distintas fuentes de datos para obtener información que de alguna forma explique el comportamiento de nuestros datos.
Se agregan ciertos indicadores de rendimiento KPI’s y metricas que nos permitan controlar y de alguna forma gestionar el negocio.

Data Warehouse trata de guardar cantidades masivas de datos para la posteridad. Allí se guarda todo lo que no está viviendo en la aplicación pero es necesario tenerlo.
Debe servir para guardar datos por un largo periodo de tiempo y estos datos se deben poder usar para poder encontrar cuestiones interesantes para el negocio.

Otro concepto importante que se deriva del Data Warehouse es el Data Mart el cual se define como una parte de una base de datos orientados a un área del negocio específica dentro de una organización.

Algo curioso que encontré, y del cual no tenía conocimiento alguno es el DATA LAKE, el cual contiene todos los datos de una organización sin procesar y sin estructura, y puede almacenar los datos indefinidamente, para uso inmediato o futuro.

En cambio DATA WAREHOUSE contiene datos estructurados que se han limpiado y procesado, listos para un análisis estratégico basado en necesidades comerciales predefinidas.

No tenía idea de que Google guardara su información en una sola gran tabla, es algo que me parece muy desconcertante, dado que estoy acostumbrada al uso de varias tablas por aplicación.
Así que me parece interesante cómo es que ellos logran organizar todos esos datos de millones y millones de usuarios en una sola tabla. Es una locura!! Genial!!

Data Warehouse: Un gran almacén de datos donde guardas todo archivo que ya no es muy reciente en tu aplicación. Es una bodega de respaldo

Apuntes: El Data Warehouse se usa para almacenar grandes cantidades de datos como históricos, osea data muerta o que ya no es tan relevante en el momento actual, ademas de permitir mantener esa información por mucho tiempo, debe permitir hacer consultas sobre ese histórico

**Data Warehouse: **Almacenar y conservar grandes volumenes de datos, que no se utilizan frecuentemente pero si es necesario para conocer información historica, nos permite tener una bodega de alamcenaje y consulta.
BigQuery: Columnar, permite conocer información histórica y de tipo predictivo.

una lectura interesante sobre el ** BIG DATA** Y DATA WAREHOUSE**
https://www.powerdata.es/data-warehouse

Cuanto mas habla el profesor en las clases de BigQuery mas ganas me dan de hacerme un curso bien a fondo.

Cada vez me gusta más este tema de la ciencia de datos.

¿Alguien más pensó en esto:

Big data = RAM
Data warehouse = Disco

?

Data Warehouse: Trata de guardar cantidades masivas de datos para posteridad. Alli se guarda todo lo que esto esta viviendo en la aplicacion pero es necesario tenerlo. Debe servir para guardar datos por un largo periodo de tiempo y estos datos se deben poder usar para poder encontrar cuestiones interesantes para el negocio. A diferencia de big data que se trata de almacenar muchisimos datos de la forma mas rapida posible, esta se trata de almacenar los datos y dejarlos alli alojado, ademas estos pueden ser tanto fisico como logicos.

BigTable
Bigtable es ideal para almacenar cantidades grandes de datos con una sola clave y con una latencia muy baja. Admite una capacidad alta de procesamiento de lectura y escritura con baja latencia

Cloud BigTable Google

Un ejemplo que puede reflejar este caso es los experimentos en el LHC (Gran colisionador de hadrones), que recejo miles de datos y parámetros de todos los sensores, CERN registra de media un petabyte de información por día y no toda la información es guardada, esto se puede considerar Big Data.

Pero tiempo después estos datos son almacenados en bancos de datos inmensos y consultados si son necesarios, pasando a ser Data warehouse( actualmente tiene mas de 200 petabytes de datos).

Un caso de uso que hicimos en el trabajo fue cubrir la sensorizacion(INTERNET DE LAS COSAS) eléctrica de una gran eléctrica de mi pais, la tasa de introducción de registros en big table era realmente increíble

Almacenamiento de cantidades masivas de información, la cual no se usa recientemente.

Un Data Warehouse o Almacén de Datos, es una gran base de datos, normalmente medida en gigabytes (miles de millones de caracteres) o terabytes (billones de letras), que recoge información de múltiples fuentes, y que su actividad se centra en la Toma de Decisiones, es decir, en el análisis de la información, en vez de su captura.

44. Mis apuntes sobre: “Data Warehouse”

Trata de gigantescas cantidades de datos guardados “archivos muertos”, guardarlos
en cierto orden. Google utiliza BigTable [una sola tabla], no sirve mucho para hacer
consultas. También existe BigQuery.
2 característica: Guardar los datos de manera permanente y poder extraer los datos.

Data Warehouse

Almacenamiento de una gran cantidad de datos inactivos. Base de datos tipo columnar.
Permite consultar sobre los “archivos muertos”.

Me gustan estos aportes del profesor, no todo es select, inner join, update, etc. los conceptos generales de las BD ayudan a entender el universo de este medio.

Big Table???

Excelente información.

¡Convencido, aprenderé Google Cloud! Por los servicios, funcionalidades y herramientas que ofrece.

¿Cuando se decide que una información de una gran base de datos pasa a ser de Data warehouse?

Una bodega de datos puede almacenar datos de diversas fuentes. Pero antes de esto, dichos datos tienen que transformarse.

super interesante!..
★★★★★

Excelente explicacion

Big Query???

Emocionante!!!

Data Warehouse -> es una base de datos para llevar información histórica, que se ágil, flexible y fácil de consultar

interesante

Data warehaouse: guardar un 🔥chinguilión🔥 (muchos millones) de datos en largos periodos de tiempo

Un data warehouse es un sistema de almacenamiento y gestión de datos diseñado para permitir el análisis de grandes cantidades de información de manera eficiente. Es una base de datos centralizada que se utiliza para recopilar, organizar y analizar datos de diferentes fuentes para apoyar la toma de decisiones empresariales.

Data Warehouse: A manera practica, conozco un caso de uso de la siguiente empresa https://landing.simetrik.com/ que usa Snowflake para almacenar toda la información historica de millones de transacciones bancarias, pero lo bonito es que con su aplicación, mantienen analisis constante y reportes para sus clientes, y no queda esa gran información como un archivo muerto.

Ahora la pregunta es …
Como consulto esos warehouses .

En resumen, la principal diferencia entre Big Data y Data Warehouse es el tipo de datos que se manejan y cómo se manejan. Big Data se refiere a la gestión y análisis de grandes conjuntos de datos no estructurados y de diversas fuentes, mientras que Data Warehouse se refiere a un sistema de gestión de bases de datos que se utiliza para almacenar datos históricos estructurados en una ubicación centralizada. Aunque ambos conceptos están relacionados con el análisis de datos, se utilizan para diferentes propósitos y requieren diferentes enfoques y tecnologías para su gestión y análisis.

Los data warehouses se diseñan para soportar la consulta y el análisis de grandes volúmenes de datos, y se optimizan para ofrecer un rendimiento rápido y eficiente. Los data warehouses también se pueden utilizar para almacenar datos históricos y para realizar análisis temporal, lo que permite a los usuarios ver cómo los datos han cambiado con el tiempo.

Data warehouse

Guardar almacenamiento masivo de datos. Post de facebook, entran muchos por cada segundo, pero no todos se quedan en la base de datos principal.
Lo guardamos en un data warehouse, esta información que ya no esta viviendo (archivo muerto) pero que no lo podemos perder.

• Big table es una sola taba que busca muchos de los servicios de google. sin embargo no sirve mucho para hacer consultas.

Buen data warehouse, alamcenar gran cantidad de data y extraerlos para analizarlos, big queri

data warehouse
Un data warehouse es un repositorio unificado para todos los datos que recogen los diversos sistemas de una empresa. El repositorio puede ser físico o lógico y hace hincapié en la captura de datos de diversas fuentes sobre todo para fines analíticos y de acceso.

Normalmente, un data warehouse se aloja en un servidor corporativo o cada vez más, en la nube. Los datos de diferentes aplicaciones de procesamiento de transacciones Online (OLTP) y otras fuentes se extraen selectivamente para su uso por aplicaciones analíticas y de consultas por usuarios.

Data Warehouse es una arquitectura de almacenamiento de datos que permite a los ejecutivos de negocios organizar, comprender y utilizar sus datos para tomar decisiones estratégicas. Un data warehouse es una arquitectura conocida ya en muchas empresas modernas.

Estructuras de un Data Warehouse
La arquitectura de un data warehouse puede ser dividida en tres estructuras simplificadas: básica, básica con un área de ensayo y básica con área de ensayo y data marts.

Con una estructura básica, sistemas operativos y archivos planos proporcionan datos en bruto que se almacenan junto con metadatos. Los usuarios finales pueden acceder a ellos para su análisis, generación de informes y minería.
Al añadir un área de ensayo que se puede colocar entre las fuentes de datos y el almacén, ésta proporciona un lugar donde los datos se pueden limpiar antes de entrar en el almacén. Es posible personalizar la arquitectura del almacén para diferentes grupos dentro de la organización.
Se puede hacer agregando data marts, que son sistemas diseñados para una línea de negocio en particular. Se pueden tener data marts separados para ventas, inventario y compras, por ejemplo, y los usuarios finales pueden acceder a datos de uno o de todos los data marts del departamento.

Actualmente existe otro concepto llamado Data Lake y es importante tener presente que Data Lake y Data Warehouse no son lo mismo.

Tomado de. 👇🏼
Para más información click acá

Nuevos conceptos aprendidos hoy:
DataWarehouse
Big Data
Big table

Encontré este link que habla sobre el tema de Data Warehouse:

https://www.powerdata.es/data-warehouse

• Data WareHouse es como una construccion de distintos conceptos:

• Pasaron como Datos inmediatos, y cuando no se necesitan se almacenan para su posterior analisis. Es muy interesante y realmente todas las empresas pues deberian usar este concepto.

DATA WAREHOUSE

Almecenamiento de datos masivamente

Un data warehouse es un repositorio unificado para todos los datos que recogen los diversos sistemas de una empresa.

Resumen: Data Wharehouse son bases de datos que permiten almacenar grandes volúmenes de datos históricos. Sirven para dos cosas principales: guardar datos de manera eterna, prácticamente, y extraer esos datos para tratar de encontrar cuestiones interesantes para el negocio más adelante. Ejemplo: big query (de tipo columnar), permite predecir el comportamiento con base en datos anteriores.

DATA WAREHOUSE
.
Es la disciplina que se encarga de guardar y manipular grandes “bodegas” de datos. Las bases de datos utilizadas en esta disciplina tienen la particularidad que pueden guardar grandes volúmenes de datos (datos históricos).
.
Una de las mas grandes aproximaciones es una base de datos interna utilizada por Google llamada Bigtable tiene la particularidad que es una sola gran tabla lo que lo convierte en un gran almacén de datos. Sin embargo no es muy util para hacer consultas query.
.
Data Warehouse es particularmente buscado para almacenar grandes volúmenes de datos y poder hacer consultas sobre esta información aplicando analítica y BI.
.
Un Data Warehouse tiene que servir para 2 actividades principales
.
1 Poder guardar datos de manera eterna y grandes volúmenes de datos.
.
2 Poder extraer los datos y hacer consultas. Y encontrar patrones interesantes para el negocio BI.
.
BigQuery es una solución para este tipo de disciplina que permite almacenar grandes volúmenes de datos (es una base de datos de tipo columnar) y permite hacer queries no únicamente en esta base de datos también agregar fuentes de datos de multiples lugares y al final generar un producto de interés predicciones o informes del estado del pasado de la empresa

• El data warehouse se emplea para la información o datos que no son tan recurrentes o necesitados. Guardando dicha información como archivo muerto, donde dicha información se guarda en grandes almacenes de datos.
  Sin embargo, se busca que cuando se requiera hacer cierto análisis de dicha información, se pueda acceder a ella sin problema.

Mucha y muy interesante información.

Data warehouse

warehouse hace referencia a los almacenes gigantes donde se guardan cosas. Y Data Warehouse, se refiere al hecho de almacenar grandes cantidades de datos que no son consultados recurrentemente, pero es necesario mantenerlos en algún lugar.

Big Table (aproximación a Data warehouse)

Se trata de guardar todos los datos en una solo tabla, pero esto no permite realizar consultas de forma tan eficiente.

En Data warehouse es importante poder realizar consultas para el negocio.

El Data Warehouse es una solución para Big Data que permite el almacenamiento de esos grandes volumenes de información de manera masiva.

Te comparto más información sobre Data Warehouse. 💚
https://www.powerdata.es/data-warehouse

Data Warehouse: Datos almacenados en tiempo histórico.

Saben si tenemos Algún curos de ETL?

En las bases de datos no lo relacionales, como la que estuvimos viendo en videos anteriores, las consultas como funcionan exactamente?

Estaba pensando que los servidores DNS, deben trabajar con algún tipo de bases de datos y la cantidad de información que almacenan es gigante. Si alguien sabe del tema bueno que nos comente.

Wow mas que interesante, justo durante el curso me cuestionaba como es que hacia Youtube para poder almacenar tanto datos en video!

Muy bien explicado la diferencia entre BIG DATA y DATA WAREHOUSE.
BIGTABLE hay que estudiar.
BIGTABLE

Seria interesante la migracion de las datos antiguos a estas nuevas

Cómo o dónde están estos data warehouse? Servidor?

Excelente explicación sobre Data warehouse, ahora si entiendo para que sirve. 😃

En si warehouse debe guardar estos datos de forma persistente.

Se van abriendo cada vez más las puertas de increíbles campos del conocimiento!

Woww todo en 1 sola tabla, cómo pueden luego sacar la información de ahí.

Los Data warehouse son útiles para responder preguntas históricas

Es muy emocionante este mundo de los datos

Data Warehouse nos permite almacenar grandes volúmenes de datos.

genial

Data Warehouse vs Big data -> diferencia.

Gracias

Histórico de datos basicamente

Si entiendo bien, con el DW estamos hablando de arquitectura para almacenar información.

Que tanta ventaja tiene esto vs la particion horizontal de tablas que tambien sirve para datos de “archivo muerto”?
y los querys siguen siendo transparentes

Alguien sabe la diferencia entre un Data lake y un Data Warehouse…???

Base de datos BigTable.

Base de datos BigQuery.

Data Warehouse. Actividades principales.

Data Warehouse. Consultas.

Las características principales de un data warehouse son: almacenamiento y extracción de datos.

Todo lo que esta el profe es increíble, el mundo de los datos es algo que yo jamás me había cuestionado, pero es increíble

Apuntes:
-Google usa BigTable, usa una sola tabla, pero no sirve tanto para hacer consultas
-Data Warehouse es un archivo historico, archivo muerto, en otra base de datos. Sirve para dos actividades principales: Guarda una gran cantidad de datos de forma “eterna” y Poder extraer los datos para hacer analitica. BigQuery es muy utilizado