Inmon, Kimball y Hefesto en BI

Curso de Data Warehousing y Modelado OLAP

Contenido del curso

No sé dónde empezar

Introducción a BI y Data Warehouse

Modelos dimensionales

ETL para inserción en Data Warehouse

Cierre

26
De datos crudos a modelo dimensional listo
01:18 min

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:006:23

Inmon, Kimball y Hefesto en BI

Curso de Data Warehousing y Modelado OLAP

Clase 5 de 26

Clase 5 / 26

Recursos

Construir un modelo de datos sólido depende de la metodología que elijas. Las metodologías de business intelligence definen cómo conectar fuentes, dimensiones, modelos dimensionales y visualizaciones para que tu negocio tome decisiones con datos confiables. Aquí verás las tres más usadas y cuándo conviene cada una.

¿Qué propone la metodología de Bill Inmon?

Bill Inmon es considerado el precursor del business intelligence moderno y su enfoque parte de una arquitectura robusta y centralizada [0:14].

Su propuesta sigue este flujo:

Llevar los datos desde las fuentes hasta un área de staging, una base de datos temporal que evita golpear las bases transaccionales.
Mover esos datos mediante un proceso de ETL hacia un data warehouse centralizado.
Construir data marts a partir del data warehouse para alimentar tableros y reportes.

El staging es clave porque permite hacer transformaciones pesadas sin afectar la operación del negocio [0:50]. Una vez procesados, los datos viajan al repositorio central y de ahí se segmentan en data marts especializados por área.

¿Qué es un área de staging? Es una base de datos temporal donde almacenas datos brevemente para hacer transformaciones pesadas sin afectar el rendimiento de las bases de datos transaccionales del negocio.

¿En qué se diferencia el enfoque de Ralph Kimball?

Ralph Kimball simplifica el flujo y elimina el paso intermedio del data warehouse como obligatorio [1:30]. Su propuesta lleva los datos desde el staging directamente a los data marts, que alimentan las visualizaciones.

No se trata de que una opción sea mejor que la otra. Puedes tener solo data warehouse, solo data marts o ambos, según el tamaño y necesidad del negocio.

¿Cuál es el flujo de Kimball para crear modelos de datos?

Kimball propone seis etapas claras para diseñar un proyecto de BI:

Planificación del proyecto: define propósito, objetivos y alcance.
Requerimientos de negocio: identifica las preguntas y necesidades de decisión mediante entrevistas.
Modelo dimensional: determina la granularidad de los datos, elige el proceso de negocio a intervenir y define dimensiones y medidas.
Diseño físico: define infraestructura, servidores locales o en la nube y dimensionamiento.
Diseño e implementación del subsistema de ETL: construye el flujo que extrae, transforma y carga los datos al data warehouse.
Implementación: despliega y divulga el proceso al negocio.

El modelo dimensional es donde se decide, por ejemplo, si vas a medir ventas por día, por producto o por región. Esa granularidad define el detalle máximo al que podrás llegar en tus análisis.

¿Qué aporta la metodología Hefesto?

Hefesto es una metodología alternativa relativamente nueva que muchos analistas combinan con Kimball para sacar lo mejor de ambas [3:51]. Su enfoque es más directo y práctico.

Sus etapas son:

Análisis de requerimientos: entender qué necesita el negocio e identificar el nivel de granularidad.
Análisis de los OLTP: conocer las fuentes de datos, su ubicación, nivel de detalle, datos faltantes y permisos necesarios para capturarlos.
Modelo lógico del data warehouse: crear las tablas, dimensiones y tablas de hechos que almacenarán los datos.
Integración de los datos: aplicar el proceso de ETL desde las fuentes hasta el destino final.

¿Qué es un sistema OLTP? Son las bases de datos transaccionales que soportan la operación diaria del negocio, como ventas, inventarios o registros de clientes, y son la fuente original de los datos que llevarás al data warehouse.

¿Qué arquitectura conviene en negocios pequeños?

Una arquitectura práctica combina lo mejor de las tres metodologías [5:00]. El flujo recomendado funciona así:

Conectar las fuentes de datos a un área de staging para proteger el performance transaccional.
Construir procesos de ETL que muevan la información del staging al data warehouse.
Consumir los datos directamente desde el data warehouse para alimentar dashboards, cubos o reportes.

En negocios pequeños puedes prescindir de los data marts y centralizar todo en el data warehouse. Esto reduce complejidad sin perder capacidad analítica.

¿Necesito siempre un data warehouse y data marts? No. Puedes tener uno, otro o ambos. La decisión depende del tamaño del negocio, el volumen de datos y qué tan segmentado necesitas el consumo por áreas.

¿Qué metodología usas tú o cuál te ha funcionado mejor en tus proyectos? Déjalo en los comentarios.

Mario Alexander Vargas Celis

Hace 2 años

Las metodologías de desarrollo de Data Warehouses proporcionan un enfoque estructurado para diseñar, implementar y mantener almacenes de datos de manera eficiente. Estas metodologías se centran en la recopilación, transformación y almacenamiento de datos, optimizando el rendimiento y facilitando la toma de decisiones estratégicas.

Principales Metodologías de Data Warehouse

1. Metodología Kimball (Enfoque Dimensional)

Desarrollada por Ralph Kimball, este enfoque se centra en la creación de Data Marts que luego se integran para formar un Data Warehouse. Es un enfoque "bottom-up" (de abajo hacia arriba).

Características:

Se enfoca en satisfacer necesidades específicas de análisis por áreas de negocio.
Utiliza modelos dimensionales: esquema estrella o esquema copo de nieve.
Diseñado para consultas y análisis rápidos.
Datos altamente optimizados para reportes y análisis (agregaciones y cálculos).
Requiere conocer los procesos de negocio al detalle.

Ventajas:

Flexible y orientado a resultados inmediatos.
Fácil de entender para los usuarios finales debido a su estructura multidimensional.

Ejemplo:

Un Data Mart para el análisis de ventas que luego se integra con otros Data Marts (como inventarios y marketing) para crear un Data Warehouse completo.

2. Metodología Inmon (Enfoque Corporativo)

Definida por Bill Inmon, este enfoque crea un Data Warehouse centralizado y normalizado, desde el cual se derivan los Data Marts. Es un enfoque "top-down" (de arriba hacia abajo).

Características:

Construcción de un Data Warehouse integrado y corporativo.
Estructura altamente normalizada para garantizar la consistencia y eliminar redundancias.
Datos cargados a partir de múltiples fuentes en un formato estándar.
Se enfoca en la flexibilidad para futuras expansiones.

Ventajas:

Permite un almacenamiento eficiente y con datos consistentes.
Ideal para grandes organizaciones con requerimientos a largo plazo.

Ejemplo:

Un Data Warehouse corporativo que consolida todas las áreas del negocio (finanzas, ventas, operaciones), con Data Marts secundarios para satisfacer necesidades específicas.

3. Enfoque Mixto o Híbrido

Este enfoque combina lo mejor de las metodologías Kimball e Inmon.

Utiliza un Data Warehouse centralizado (Inmon) para garantizar la consistencia global.
Permite la creación de Data Marts departamentales y dimensionales (Kimball) para consultas rápidas.

Ventajas:

Ofrece flexibilidad y velocidad sin comprometer la integridad de los datos.
Es adecuado para organizaciones que necesitan resultados inmediatos pero planean expandirse.

4. Iterativa y Ágil

Este enfoque adapta los principios de desarrollo ágil al diseño de Data Warehouses. Consiste en construir prototipos rápidos y funcionales que se mejoran continuamente.

Características:

Prioriza entregas rápidas y la adaptación a cambios.
Los usuarios están involucrados durante todo el proceso.
Se enfoca en pequeños incrementos funcionales.

Ventajas:

Mayor alineación con las necesidades del negocio.
Reduce riesgos al entregar resultados rápidamente.

Ejemplo:

Desarrollo de un sistema de reportes básicos para el departamento de ventas, mejorándolo gradualmente con nuevos indicadores y fuentes de datos.

Pasos Comunes en una Metodología de Data Warehouse

Recolección de Requisitos:
- Identificar las necesidades de información de los usuarios finales y las fuentes de datos.
Diseño Conceptual:
- Definir las dimensiones y métricas clave.
- Elegir entre un modelo dimensional o normalizado según la metodología.
Diseño Lógico:
- Crear esquemas (estrella, copo de nieve o tabular) y definir relaciones entre tablas.
Diseño Físico:
- Seleccionar tecnologías, optimizar consultas y definir almacenamiento.
Implementación:
- Cargar datos utilizando procesos ETL.
- Asegurar la calidad y la validación de datos.
Pruebas y Mantenimiento:
- Evaluar rendimiento y precisión.
- Adaptar a nuevas necesidades y cambios en los datos.

Comparación de Metodologías

AspectoKimballInmonHíbridoIterativa/ÁgilEnfoqueBottom-upTop-downMixtoIterativoEstructuraDimensionalNormalizadaCombinadaSegún necesidadesVelocidadMás rápidaMás lentaIntermediaMuy rápidaEscalabilidadLimitadaAltaAltaAltaComplejidad inicialBajaAltaIntermediaBaja

Estas metodologías permiten seleccionar el enfoque que mejor se adapte a las necesidades y recursos de cada organización.

Introducción a BI y Data Warehouse

Qué es Business Intelligence y Data Warehousing

Niveles de analítica y jerarquía de datos

Qué son data warehouse, data mart y dimensiones

OLTP vs OLAP: diferencias clave

Inmon, Kimball y Hefesto en BI

Modelos dimensionales

Data Warehouse, Data Lake y Lakehouse

Modelo estrella vs copo de nieve en datos

Tipos de dimensiones lentamente cambiantes

Dimensión tipo 1: sobrescribir sin guardar historia

Dimensión tipo 2

Dimensión tipo 3: historia en columnas

Tabla de hechos (fact)

Configuración de herramientas para Data Warehouse y ETL

Cómo extraer dimensiones de preguntas de negocio

Diseño de tablas en un modelo dimensional

ETL para inserción en Data Warehouse

Documento de mapeo en ETL para data warehouse

Creando tablas dimensionales en Redshift

Extracción: querys en SQL

Cruce de fuentes en Pentaho con Stream Lookup

Transformación ETL con Pentaho paso a paso

Carga de datos transformados a Redshift con Pentaho

Cómo cargar la tabla de hechos con Pentaho

Cómo calcular MaxID y MaxDate en Pentaho

Orquestar ETL en Pentaho: job

Solución ETL con dimensiones en paralelo en Redshift

Cierre

De datos crudos a modelo dimensional listo

Inmon, Kimball y Hefesto en BI

Progreso del curso

Introducción a BI y Data Warehouse

Modelos dimensionales

ETL para inserción en Data Warehouse

Cierre

Recursos

Recursos