Data warehouse

En primer lugar, DW no es un producto que pueda ser comprado en el mercado, sino más bien un concepto que debe ser construido. DW es una combinación de conceptos y tecnología que cambian significativamente la manera en que es entregada la información a la gente de negocios. El objetivo principal es satisfacer los requerimientos de información internos de la empresa para una mejor gestión, con eficiencia y facilidad de acceso.

El DW puede verse como una bodega donde están almacenados todos los datos necesarios para realizar las funciones de gestión de la empresa, de manera que puedan utilizarse fácilmente según se necesiten.

Diferencia de Big Data y Data Warehouse

Supongamos que está la biblioteca central, donde se guardan todos los documentos históricos existentes para consultarlos de vez en cuando, ese seria el Data Warehouse.
Ahora imagínate esa misma biblioteca pero está tiene una cantidad masiva de libros que no son históricos, sino actuales, que te sirven y los puedes consultar más a menudo en comparación con el caso de los libros históricos de años muy pasados, ese seria el Big Data.

Un Data Warehouse es una colección de datos

• orientada a sujetos
• integrada
• variante en el tiempo
• no volátil

que soporta el proceso de toma de decisiones. Un Data Warehouse soporta procesamiento informático,
brindando una sólida plataforma de datos históricos, integrados, de los cuales hacer análisis.

Data Warehouse: Almacén de datos, se utiliza para almacenar grandes cantidades de datos de manera histórica una de las tipos de base de datos que se utiliza es big table o big Query.

Entre mas avanzo más me emociono

Data Warehouse
Satisfacen la necesidad de guardar masivas cantidades de datos históricos, lo que se conoce como archivo muerto, es decir son un almacén de datos. Tienen el fin analizar el historial de datos y generar conclusiones interesantes
Ejemplos

• Big Table → se guardan los datos en una sola tabla (Google)
• Big Query → almacena gran cantidad de datos optimizados para querys

Una curiosidad, que base de datos utilizaran aqui en platzi?, porque manejan bastante informacion con los posts, foro, blog, etc

Algo curioso que encontré, y del cual no tenía conocimiento alguno es el DATA LAKE, el cual contiene todos los datos de una organización sin procesar y sin estructura, y puede almacenar los datos indefinidamente, para uso inmediato o futuro.

En cambio DATA WAREHOUSE contiene datos estructurados que se han limpiado y procesado, listos para un análisis estratégico basado en necesidades comerciales predefinidas.

Un data warehouse es un repositorio unificado para todos los datos que recogen los diversos sistemas de una empresa y que puede ser físico o lógico.

Vale, entonces prácticamente un Data Warehouse es la base de datos en la que podemos guardar información que ya rara vez es usada, me gustaría saber cómo interactua esto con las demas porque seguramente cuando necesitemos algo de ahí necesitaremos sacarla a la base de datos principal no?

DATA WAREHOUSE
.
Es la disciplina que se encarga de guardar y manipular grandes “bodegas” de datos. Las bases de datos utilizadas en esta disciplina tienen la particularidad que pueden guardar grandes volúmenes de datos (datos históricos).
.
Una de las mas grandes aproximaciones es una base de datos interna utilizada por Google llamada Bigtable tiene la particularidad que es una sola gran tabla lo que lo convierte en un gran almacén de datos. Sin embargo no es muy util para hacer consultas query.
.
Data Warehouse es particularmente buscado para almacenar grandes volúmenes de datos y poder hacer consultas sobre esta información aplicando analítica y BI.
.
Un Data Warehouse tiene que servir para 2 actividades principales
.
1 Poder guardar datos de manera eterna y grandes volúmenes de datos.
.
2 Poder extraer los datos y hacer consultas. Y encontrar patrones interesantes para el negocio BI.
.
BigQuery es una solución para este tipo de disciplina que permite almacenar grandes volúmenes de datos (es una base de datos de tipo columnar) y permite hacer queries no únicamente en esta base de datos también agregar fuentes de datos de multiples lugares y al final generar un producto de interés predicciones o informes del estado del pasado de la empresa

Otro concepto importante que se deriva del Data Warehouse es el Data Mart el cual se define como una parte de una base de datos orientados a un área del negocio específica dentro de una organización.

**Data Warehouse: **Almacenar y conservar grandes volumenes de datos, que no se utilizan frecuentemente pero si es necesario para conocer información historica, nos permite tener una bodega de alamcenaje y consulta.
BigQuery: Columnar, permite conocer información histórica y de tipo predictivo.

Desde un enfoque empresarial, un DW es un deposito de datos histórico, integrado con distintas fuentes de datos para obtener información que de alguna forma explique el comportamiento de nuestros datos.
Se agregan ciertos indicadores de rendimiento KPI’s y metricas que nos permitan controlar y de alguna forma gestionar el negocio.

Data Warehouse trata de guardar cantidades masivas de datos para la posteridad. Allí se guarda todo lo que no está viviendo en la aplicación pero es necesario tenerlo.
Debe servir para guardar datos por un largo periodo de tiempo y estos datos se deben poder usar para poder encontrar cuestiones interesantes para el negocio.

Data Warehouse: Un gran almacén de datos donde guardas todo archivo que ya no es muy reciente en tu aplicación. Es una bodega de respaldo

No tenía idea de que Google guardara su información en una sola gran tabla, es algo que me parece muy desconcertante, dado que estoy acostumbrada al uso de varias tablas por aplicación.
Así que me parece interesante cómo es que ellos logran organizar todos esos datos de millones y millones de usuarios en una sola tabla. Es una locura!! Genial!!

Apuntes: El Data Warehouse se usa para almacenar grandes cantidades de datos como históricos, osea data muerta o que ya no es tan relevante en el momento actual, ademas de permitir mantener esa información por mucho tiempo, debe permitir hacer consultas sobre ese histórico

Cuanto mas habla el profesor en las clases de BigQuery mas ganas me dan de hacerme un curso bien a fondo.

Data Warehouse: Trata de guardar cantidades masivas de datos para posteridad. Alli se guarda todo lo que esto esta viviendo en la aplicacion pero es necesario tenerlo. Debe servir para guardar datos por un largo periodo de tiempo y estos datos se deben poder usar para poder encontrar cuestiones interesantes para el negocio. A diferencia de big data que se trata de almacenar muchisimos datos de la forma mas rapida posible, esta se trata de almacenar los datos y dejarlos alli alojado, ademas estos pueden ser tanto fisico como logicos.

Big Query???

Big Table???

Emocionante!!!

Un caso de uso que hicimos en el trabajo fue cubrir la sensorizacion(INTERNET DE LAS COSAS) eléctrica de una gran eléctrica de mi pais, la tasa de introducción de registros en big table era realmente increíble

¡Convencido, aprenderé Google Cloud! Por los servicios, funcionalidades y herramientas que ofrece.

interesante

Un ejemplo que puede reflejar este caso es los experimentos en el LHC (Gran colisionador de hadrones), que recejo miles de datos y parámetros de todos los sensores, CERN registra de media un petabyte de información por día y no toda la información es guardada, esto se puede considerar Big Data.

Pero tiempo después estos datos son almacenados en bancos de datos inmensos y consultados si son necesarios, pasando a ser Data warehouse( actualmente tiene mas de 200 petabytes de datos).

super interesante!..
★★★★★

¿Cuando se decide que una información de una gran base de datos pasa a ser de Data warehouse?

Excelente explicacion

Una bodega de datos puede almacenar datos de diversas fuentes. Pero antes de esto, dichos datos tienen que transformarse.

Excelente información.

Almacenamiento de cantidades masivas de información, la cual no se usa recientemente.

Data Warehouse -> es una base de datos para llevar información histórica, que se ágil, flexible y fácil de consultar

Un Data Warehouse o Almacén de Datos, es una gran base de datos, normalmente medida en gigabytes (miles de millones de caracteres) o terabytes (billones de letras), que recoge información de múltiples fuentes, y que su actividad se centra en la Toma de Decisiones, es decir, en el análisis de la información, en vez de su captura.

44. Mis apuntes sobre: “Data Warehouse”

Trata de gigantescas cantidades de datos guardados “archivos muertos”, guardarlos
en cierto orden. Google utiliza BigTable [una sola tabla], no sirve mucho para hacer
consultas. También existe BigQuery.
2 característica: Guardar los datos de manera permanente y poder extraer los datos.

Data Warehouse

Almacenamiento de una gran cantidad de datos inactivos. Base de datos tipo columnar.
Permite consultar sobre los “archivos muertos”.

Cada vez me gusta más este tema de la ciencia de datos.

¿Alguien más pensó en esto:

Big data = RAM
Data warehouse = Disco

?

Me encanta que el profe siempre tiene dos discos duros a su lado, recuerda mucho el símbolo estándar de las bases de datos ❤️.

Me gustan estos aportes del profesor, no todo es select, inner join, update, etc. los conceptos generales de las BD ayudan a entender el universo de este medio.

Estaba pensando que los servidores DNS, deben trabajar con algún tipo de bases de datos y la cantidad de información que almacenan es gigante. Si alguien sabe del tema bueno que nos comente.

En si warehouse debe guardar estos datos de forma persistente.

En las bases de datos no lo relacionales, como la que estuvimos viendo en videos anteriores, las consultas como funcionan exactamente?

Excelente explicación sobre Data warehouse, ahora si entiendo para que sirve. 😃

Los Data warehouse son útiles para responder preguntas históricas

Data Warehouse vs Big data -> diferencia.

Si entiendo bien, con el DW estamos hablando de arquitectura para almacenar información.

Que tanta ventaja tiene esto vs la particion horizontal de tablas que tambien sirve para datos de “archivo muerto”?
y los querys siguen siendo transparentes

Saben si tenemos Algún curos de ETL?

Data Warehouse: Datos almacenados en tiempo histórico.

Resumen: Data Wharehouse son bases de datos que permiten almacenar grandes volúmenes de datos históricos. Sirven para dos cosas principales: guardar datos de manera eterna, prácticamente, y extraer esos datos para tratar de encontrar cuestiones interesantes para el negocio más adelante. Ejemplo: big query (de tipo columnar), permite predecir el comportamiento con base en datos anteriores.

Wow mas que interesante, justo durante el curso me cuestionaba como es que hacia Youtube para poder almacenar tanto datos en video!

Cómo o dónde están estos data warehouse? Servidor?

Woww todo en 1 sola tabla, cómo pueden luego sacar la información de ahí.

Se van abriendo cada vez más las puertas de increíbles campos del conocimiento!

Es muy emocionante este mundo de los datos

Seria interesante la migracion de las datos antiguos a estas nuevas

genial

Data Warehouse nos permite almacenar grandes volúmenes de datos.

Histórico de datos basicamente

Data warehouse

warehouse hace referencia a los almacenes gigantes donde se guardan cosas. Y Data Warehouse, se refiere al hecho de almacenar grandes cantidades de datos que no son consultados recurrentemente, pero es necesario mantenerlos en algún lugar.

Big Table (aproximación a Data warehouse)

Se trata de guardar todos los datos en una solo tabla, pero esto no permite realizar consultas de forma tan eficiente.

En Data warehouse es importante poder realizar consultas para el negocio.

• El data warehouse se emplea para la información o datos que no son tan recurrentes o necesitados. Guardando dicha información como archivo muerto, donde dicha información se guarda en grandes almacenes de datos.
  Sin embargo, se busca que cuando se requiera hacer cierto análisis de dicha información, se pueda acceder a ella sin problema.

Nuevos conceptos aprendidos hoy:
DataWarehouse
Big Data
Big table

data warehouse
Un data warehouse es un repositorio unificado para todos los datos que recogen los diversos sistemas de una empresa. El repositorio puede ser físico o lógico y hace hincapié en la captura de datos de diversas fuentes sobre todo para fines analíticos y de acceso.

Normalmente, un data warehouse se aloja en un servidor corporativo o cada vez más, en la nube. Los datos de diferentes aplicaciones de procesamiento de transacciones Online (OLTP) y otras fuentes se extraen selectivamente para su uso por aplicaciones analíticas y de consultas por usuarios.

Data Warehouse es una arquitectura de almacenamiento de datos que permite a los ejecutivos de negocios organizar, comprender y utilizar sus datos para tomar decisiones estratégicas. Un data warehouse es una arquitectura conocida ya en muchas empresas modernas.

Estructuras de un Data Warehouse
La arquitectura de un data warehouse puede ser dividida en tres estructuras simplificadas: básica, básica con un área de ensayo y básica con área de ensayo y data marts.

Con una estructura básica, sistemas operativos y archivos planos proporcionan datos en bruto que se almacenan junto con metadatos. Los usuarios finales pueden acceder a ellos para su análisis, generación de informes y minería.
Al añadir un área de ensayo que se puede colocar entre las fuentes de datos y el almacén, ésta proporciona un lugar donde los datos se pueden limpiar antes de entrar en el almacén. Es posible personalizar la arquitectura del almacén para diferentes grupos dentro de la organización.
Se puede hacer agregando data marts, que son sistemas diseñados para una línea de negocio en particular. Se pueden tener data marts separados para ventas, inventario y compras, por ejemplo, y los usuarios finales pueden acceder a datos de uno o de todos los data marts del departamento.

Data warehouse

Guardar almacenamiento masivo de datos. Post de facebook, entran muchos por cada segundo, pero no todos se quedan en la base de datos principal.
Lo guardamos en un data warehouse, esta información que ya no esta viviendo (archivo muerto) pero que no lo podemos perder.

• Big table es una sola taba que busca muchos de los servicios de google. sin embargo no sirve mucho para hacer consultas.

Buen data warehouse, alamcenar gran cantidad de data y extraerlos para analizarlos, big queri

En resumen, la principal diferencia entre Big Data y Data Warehouse es el tipo de datos que se manejan y cómo se manejan. Big Data se refiere a la gestión y análisis de grandes conjuntos de datos no estructurados y de diversas fuentes, mientras que Data Warehouse se refiere a un sistema de gestión de bases de datos que se utiliza para almacenar datos históricos estructurados en una ubicación centralizada. Aunque ambos conceptos están relacionados con el análisis de datos, se utilizan para diferentes propósitos y requieren diferentes enfoques y tecnologías para su gestión y análisis.

Un data warehouse es un sistema de almacenamiento y gestión de datos diseñado para permitir el análisis de grandes cantidades de información de manera eficiente. Es una base de datos centralizada que se utiliza para recopilar, organizar y analizar datos de diferentes fuentes para apoyar la toma de decisiones empresariales.

Un Data Warehouse , en español “almacén de datos”, es un sistema de almacenamiento y gestión de datos diseñado para recopilar, consolidar y organizar información de diversas fuentes dentro de una organización. El objetivo principal de un Data Warehouse es proporcionar un entorno centralizado para el análisis y la toma de decisiones empresariales basadas en datos.

Un Data Warehouse se diferencia de las bases de datos operacionales tradicionales en varios aspectos clave:

• Orientación a la toma de decisiones:

• Datos consolidados:

• Estructura optimizada para consultas

• Datos históricos

• Acceso seguro y controlado

Big Data se refiere a la gestión de grandes y complejos conjuntos de datos, mientras que Data Warehouse es una infraestructura centralizada para almacenar y gestionar datos estructurados para análisis. Un Data Mart es una parte más específica de un Data Warehouse, enfocada en un área particular de la organización. Estas tres tecnologías se utilizan en conjunto en muchas organizaciones para gestionar datos a gran escala y aprovechar la inteligencia empresarial.

59. Data warehouse

• Guardar cantidades masivas de datos de manera histórica.
• Extraer de los datos para traer soluciones de negocio.

Entonces una analogía, sería que un Data Warehouse es como un cementerio organizado y gigante.

Data warehaouse: guardar un 🔥chinguilión🔥 (muchos millones) de datos en largos periodos de tiempo

Ahora la pregunta es …
Como consulto esos warehouses .

Los data warehouses se diseñan para soportar la consulta y el análisis de grandes volúmenes de datos, y se optimizan para ofrecer un rendimiento rápido y eficiente. Los data warehouses también se pueden utilizar para almacenar datos históricos y para realizar análisis temporal, lo que permite a los usuarios ver cómo los datos han cambiado con el tiempo.

• Data WareHouse es como una construccion de distintos conceptos:

• Pasaron como Datos inmediatos, y cuando no se necesitan se almacenan para su posterior analisis. Es muy interesante y realmente todas las empresas pues deberian usar este concepto.

DATA WAREHOUSE

Almecenamiento de datos masivamente

Un data warehouse es un repositorio unificado para todos los datos que recogen los diversos sistemas de una empresa.

Mucha y muy interesante información.

El Data Warehouse es una solución para Big Data que permite el almacenamiento de esos grandes volumenes de información de manera masiva.

Gracias

Alguien sabe la diferencia entre un Data lake y un Data Warehouse…???

Los data Warehouse tiene que primeramente guardar datos en masa y en segunda mano, buscar los datos para encontrar los datos y buscar analisis que busquemos

El DW puede verse como una bodega donde están almacenados todos los datos necesarios para realizar las funciones de gestión de la empresa, de manera que puedan utilizarse fácilmente según se necesiten.

Todo lo que esta el profe es increíble, el mundo de los datos es algo que yo jamás me había cuestionado, pero es increíble

Apuntes:
-Google usa BigTable, usa una sola tabla, pero no sirve tanto para hacer consultas
-Data Warehouse es un archivo historico, archivo muerto, en otra base de datos. Sirve para dos actividades principales: Guarda una gran cantidad de datos de forma “eterna” y Poder extraer los datos para hacer analitica. BigQuery es muy utilizado

Las características principales de un data warehouse son: almacenamiento y extracción de datos.

Data Warehouse. Actividades principales.

Base de datos BigTable.

Base de datos BigQuery.

Data Warehouse. Consultas.