Data warehouse

La información ingresada al Data Warehouse debe pasar por el proceso ETL (Extract, Transform and Load). Este proceso que se explica con más detalle en otro artículo. Como se comenta más arriba la información ingresada al Data Warehouse debe ser integrada y limpia, objetivo que se logra a través del proceso ETL.

referencia…
Data Werehouse

En primer lugar, DW no es un producto que pueda ser comprado en el mercado, sino más bien un concepto que debe ser construido. DW es una combinación de conceptos y tecnología que cambian significativamente la manera en que es entregada la información a la gente de negocios. El objetivo principal es satisfacer los requerimientos de información internos de la empresa para una mejor gestión, con eficiencia y facilidad de acceso.

El DW puede verse como una bodega donde están almacenados todos los datos necesarios para realizar las funciones de gestión de la empresa, de manera que puedan utilizarse fácilmente según se necesiten.

Diferencia de Big Data y Data Warehouse

Supongamos que está la biblioteca central, donde se guardan todos los documentos históricos existentes para consultarlos de vez en cuando, ese seria el Data Warehouse.
Ahora imagínate esa misma biblioteca pero está tiene una cantidad masiva de libros que no son históricos, sino actuales, que te sirven y los puedes consultar más a menudo en comparación con el caso de los libros históricos de años muy pasados, ese seria el Big Data.

Un Data Warehouse es una colección de datos

• orientada a sujetos
• integrada
• variante en el tiempo
• no volátil

que soporta el proceso de toma de decisiones. Un Data Warehouse soporta procesamiento informático,
brindando una sólida plataforma de datos históricos, integrados, de los cuales hacer análisis.

Hola, comparto esta información con el fin de evitar confusiones que se pueden dar al ver esta clase.

Yo trabajé por 12 años en un departamento de Business Intelligence en una aerolínea muy grande en latinoamérica, ahi construiamos el Data Warehouse Corporativo y con esa experiencia les puedo asegurar que un Data Warehouse no solo tiene datos históricos, aunque el mayor valor reside en tener la capacidad de consultar volumenes grandes de información, también puede contener información a futuro como presupuestos, venta que aún no ha sido materializada, etc.

El DW no es un repositorio para consulta histórica, o backups, sino que su propósito es habilitar la toma de decisiones basadas en datos y para esto contiene datos de diferentes sistemas, organizados de tal forma que permite la consulta rápida de grandes volúmenes de datos (históricos o no históricos) con propósitos analíticos, estos propósitos difícilmente pueden lograrse con diseños normalizados.

El diseño de un Data Warehouse requiere muchos conocimientos específicos de la materia, que no se pueden cubrir si solamente conocemos el modelado de bases de datos para aplicaciones (normalizados), por lo que si sería muy bueno tener un curso específico de Dimensional Modeling en Platzi! Dimensional Modeling es la mejor técnica de diseñar Data Warehouses. Acá dejo el libro de referencia para aprender Dimensional Modeling https://www.kimballgroup.com/data-warehouse-business-intelligence-resources/books/data-warehouse-dw-toolkit/

Ojo que hay dos grandes escuelas: Bottom-up o enfoque de Kimball y Top-down o enfoque de Inmon, ambos con sus ventajas y desventajas. Y ambos con soluciones muy diferentes por lo que es necesario conocer el enfoque del autor para evitar confusiones cuando consultamos información. Aquí un artículo muy breve que habla sobre ambos enfoques https://dwbimaster.com/bottom-up-vs-top-down-approach-in-data-warehouse/

Dejo acá también el link de The Data Warehouse Institute que es la organización líder a nivel mundial sobre Data Warehousing. https://tdwi.org/Home.aspx

Encontre esta empresa que da un servicio de data warehouse
y te regalan su ebook gratuito para entender el data warehouse

Click aqui

Data Warehouse: Almacén de datos, se utiliza para almacenar grandes cantidades de datos de manera histórica una de las tipos de base de datos que se utiliza es big table o big Query.

Entre mas avanzo más me emociono

Data Warehouse
Satisfacen la necesidad de guardar masivas cantidades de datos históricos, lo que se conoce como archivo muerto, es decir son un almacén de datos. Tienen el fin analizar el historial de datos y generar conclusiones interesantes
Ejemplos

• Big Table → se guardan los datos en una sola tabla (Google)
• Big Query → almacena gran cantidad de datos optimizados para querys

Una curiosidad, que base de datos utilizaran aqui en platzi?, porque manejan bastante informacion con los posts, foro, blog, etc

Un data warehouse es un repositorio unificado para todos los datos que recogen los diversos sistemas de una empresa y que puede ser físico o lógico.

Data Warehouse trata de guardar cantidades masivas de datos para la posteridad. Allí se guarda todo lo que no está viviendo en la aplicación pero es necesario tenerlo.
Debe servir para guardar datos por un largo periodo de tiempo y estos datos se deben poder usar para poder encontrar cuestiones interesantes para el negocio.

Data Warehouse: Un gran almacén de datos donde guardas todo archivo que ya no es muy reciente en tu aplicación. Es una bodega de respaldo

Desde un enfoque empresarial, un DW es un deposito de datos histórico, integrado con distintas fuentes de datos para obtener información que de alguna forma explique el comportamiento de nuestros datos.
Se agregan ciertos indicadores de rendimiento KPI’s y metricas que nos permitan controlar y de alguna forma gestionar el negocio.

Apuntes: El Data Warehouse se usa para almacenar grandes cantidades de datos como históricos, osea data muerta o que ya no es tan relevante en el momento actual, ademas de permitir mantener esa información por mucho tiempo, debe permitir hacer consultas sobre ese histórico

**Data Warehouse: **Almacenar y conservar grandes volumenes de datos, que no se utilizan frecuentemente pero si es necesario para conocer información historica, nos permite tener una bodega de alamcenaje y consulta.
BigQuery: Columnar, permite conocer información histórica y de tipo predictivo.

Vale, entonces prácticamente un Data Warehouse es la base de datos en la que podemos guardar información que ya rara vez es usada, me gustaría saber cómo interactua esto con las demas porque seguramente cuando necesitemos algo de ahí necesitaremos sacarla a la base de datos principal no?

una lectura interesante sobre el ** BIG DATA** Y DATA WAREHOUSE**
https://www.powerdata.es/data-warehouse

Cuanto mas habla el profesor en las clases de BigQuery mas ganas me dan de hacerme un curso bien a fondo.

¿Alguien más pensó en esto:

Big data = RAM
Data warehouse = Disco

?

Data Warehouse: Trata de guardar cantidades masivas de datos para posteridad. Alli se guarda todo lo que esto esta viviendo en la aplicacion pero es necesario tenerlo. Debe servir para guardar datos por un largo periodo de tiempo y estos datos se deben poder usar para poder encontrar cuestiones interesantes para el negocio. A diferencia de big data que se trata de almacenar muchisimos datos de la forma mas rapida posible, esta se trata de almacenar los datos y dejarlos alli alojado, ademas estos pueden ser tanto fisico como logicos.

BigTable
Bigtable es ideal para almacenar cantidades grandes de datos con una sola clave y con una latencia muy baja. Admite una capacidad alta de procesamiento de lectura y escritura con baja latencia

Cloud BigTable Google

Un ejemplo que puede reflejar este caso es los experimentos en el LHC (Gran colisionador de hadrones), que recejo miles de datos y parámetros de todos los sensores, CERN registra de media un petabyte de información por día y no toda la información es guardada, esto se puede considerar Big Data.

Pero tiempo después estos datos son almacenados en bancos de datos inmensos y consultados si son necesarios, pasando a ser Data warehouse( actualmente tiene mas de 200 petabytes de datos).

Un caso de uso que hicimos en el trabajo fue cubrir la sensorizacion(INTERNET DE LAS COSAS) eléctrica de una gran eléctrica de mi pais, la tasa de introducción de registros en big table era realmente increíble

Almacenamiento de cantidades masivas de información, la cual no se usa recientemente.

Un Data Warehouse o Almacén de Datos, es una gran base de datos, normalmente medida en gigabytes (miles de millones de caracteres) o terabytes (billones de letras), que recoge información de múltiples fuentes, y que su actividad se centra en la Toma de Decisiones, es decir, en el análisis de la información, en vez de su captura.

44. Mis apuntes sobre: “Data Warehouse”

Trata de gigantescas cantidades de datos guardados “archivos muertos”, guardarlos
en cierto orden. Google utiliza BigTable [una sola tabla], no sirve mucho para hacer
consultas. También existe BigQuery.
2 característica: Guardar los datos de manera permanente y poder extraer los datos.

Data Warehouse

Almacenamiento de una gran cantidad de datos inactivos. Base de datos tipo columnar.
Permite consultar sobre los “archivos muertos”.

Me gustan estos aportes del profesor, no todo es select, inner join, update, etc. los conceptos generales de las BD ayudan a entender el universo de este medio.

Big Table???

Excelente información.

¡Convencido, aprenderé Google Cloud! Por los servicios, funcionalidades y herramientas que ofrece.

¿Cuando se decide que una información de una gran base de datos pasa a ser de Data warehouse?

Una bodega de datos puede almacenar datos de diversas fuentes. Pero antes de esto, dichos datos tienen que transformarse.

super interesante!..
★★★★★

Excelente explicacion

Big Query???

Emocionante!!!

Data Warehouse -> es una base de datos para llevar información histórica, que se ágil, flexible y fácil de consultar

interesante

DATA WAREHOUSE

Almecenamiento de datos masivamente

Un data warehouse es un repositorio unificado para todos los datos que recogen los diversos sistemas de una empresa.

Resumen: Data Wharehouse son bases de datos que permiten almacenar grandes volúmenes de datos históricos. Sirven para dos cosas principales: guardar datos de manera eterna, prácticamente, y extraer esos datos para tratar de encontrar cuestiones interesantes para el negocio más adelante. Ejemplo: big query (de tipo columnar), permite predecir el comportamiento con base en datos anteriores.

DATA WAREHOUSE
.
Es la disciplina que se encarga de guardar y manipular grandes “bodegas” de datos. Las bases de datos utilizadas en esta disciplina tienen la particularidad que pueden guardar grandes volúmenes de datos (datos históricos).
.
Una de las mas grandes aproximaciones es una base de datos interna utilizada por Google llamada Bigtable tiene la particularidad que es una sola gran tabla lo que lo convierte en un gran almacén de datos. Sin embargo no es muy util para hacer consultas query.
.
Data Warehouse es particularmente buscado para almacenar grandes volúmenes de datos y poder hacer consultas sobre esta información aplicando analítica y BI.
.
Un Data Warehouse tiene que servir para 2 actividades principales
.
1 Poder guardar datos de manera eterna y grandes volúmenes de datos.
.
2 Poder extraer los datos y hacer consultas. Y encontrar patrones interesantes para el negocio BI.
.
BigQuery es una solución para este tipo de disciplina que permite almacenar grandes volúmenes de datos (es una base de datos de tipo columnar) y permite hacer queries no únicamente en esta base de datos también agregar fuentes de datos de multiples lugares y al final generar un producto de interés predicciones o informes del estado del pasado de la empresa

• El data warehouse se emplea para la información o datos que no son tan recurrentes o necesitados. Guardando dicha información como archivo muerto, donde dicha información se guarda en grandes almacenes de datos.
  Sin embargo, se busca que cuando se requiera hacer cierto análisis de dicha información, se pueda acceder a ella sin problema.

Mucha y muy interesante información.

Data warehouse

warehouse hace referencia a los almacenes gigantes donde se guardan cosas. Y Data Warehouse, se refiere al hecho de almacenar grandes cantidades de datos que no son consultados recurrentemente, pero es necesario mantenerlos en algún lugar.

Big Table (aproximación a Data warehouse)

Se trata de guardar todos los datos en una solo tabla, pero esto no permite realizar consultas de forma tan eficiente.

En Data warehouse es importante poder realizar consultas para el negocio.

El Data Warehouse es una solución para Big Data que permite el almacenamiento de esos grandes volumenes de información de manera masiva.

Otro concepto importante que se deriva del Data Warehouse es el Data Mart el cual se define como una parte de una base de datos orientados a un área del negocio específica dentro de una organización.

Te comparto más información sobre Data Warehouse. 💚
https://www.powerdata.es/data-warehouse

Data Warehouse: Datos almacenados en tiempo histórico.

Saben si tenemos Algún curos de ETL?

En las bases de datos no lo relacionales, como la que estuvimos viendo en videos anteriores, las consultas como funcionan exactamente?

Estaba pensando que los servidores DNS, deben trabajar con algún tipo de bases de datos y la cantidad de información que almacenan es gigante. Si alguien sabe del tema bueno que nos comente.

Wow mas que interesante, justo durante el curso me cuestionaba como es que hacia Youtube para poder almacenar tanto datos en video!

Muy bien explicado la diferencia entre BIG DATA y DATA WAREHOUSE.
BIGTABLE hay que estudiar.
BIGTABLE

Seria interesante la migracion de las datos antiguos a estas nuevas

Cómo o dónde están estos data warehouse? Servidor?

Excelente explicación sobre Data warehouse, ahora si entiendo para que sirve. 😃

En si warehouse debe guardar estos datos de forma persistente.

Se van abriendo cada vez más las puertas de increíbles campos del conocimiento!

Woww todo en 1 sola tabla, cómo pueden luego sacar la información de ahí.

Los Data warehouse son útiles para responder preguntas históricas

Es muy emocionante este mundo de los datos

Data Warehouse nos permite almacenar grandes volúmenes de datos.

genial

Data Warehouse vs Big data -> diferencia.

Gracias

Histórico de datos basicamente

Si entiendo bien, con el DW estamos hablando de arquitectura para almacenar información.

Que tanta ventaja tiene esto vs la particion horizontal de tablas que tambien sirve para datos de “archivo muerto”?
y los querys siguen siendo transparentes

Alguien sabe la diferencia entre un Data lake y un Data Warehouse…???

Base de datos BigTable.

Base de datos BigQuery.

Data Warehouse. Actividades principales.

Data Warehouse. Consultas.

Las características principales de un data warehouse son: almacenamiento y extracción de datos.

Todo lo que esta el profe es increíble, el mundo de los datos es algo que yo jamás me había cuestionado, pero es increíble

Apuntes:
-Google usa BigTable, usa una sola tabla, pero no sirve tanto para hacer consultas
-Data Warehouse es un archivo historico, archivo muerto, en otra base de datos. Sirve para dos actividades principales: Guarda una gran cantidad de datos de forma “eterna” y Poder extraer los datos para hacer analitica. BigQuery es muy utilizado

El DW puede verse como una bodega donde están almacenados todos los datos necesarios para realizar las funciones de gestión de la empresa, de manera que puedan utilizarse fácilmente según se necesiten.

No tenía idea de que Google guardara su información en una sola gran tabla, es algo que me parece muy desconcertante, dado que estoy acostumbrada al uso de varias tablas por aplicación.
Así que me parece interesante cómo es que ellos logran organizar todos esos datos de millones y millones de usuarios en una sola tabla. Es una locura!! Genial!!

Los data Warehouse tiene que primeramente guardar datos en masa y en segunda mano, buscar los datos para encontrar los datos y buscar analisis que busquemos