Bases de Datos In-Memory con indexación de columnar

Clase 30 de 63 • Fundamentos de Bases de Datos 2017

Joel Eduardo Gaspar

student•

Hay algo que quiero compartir con todos. Soy egresado como ingeniero de software y decidí suscribirme a Platzi porque me llamó mucho la atención todos los cursos y carreras que tienen. Desde hace unos meses estaba considerando la posibilidad de seguir estudiando y por mi mente cruzaba la opcion mas común, es decir, el posgrado, y lo poco que llevo aqui en Platzi me esta cambiando el panorama. Me tuve que despojar de mi ego, y empecé con los cursos básicos y con asombro y un poco de tristeza debo confesar que tan solo en unas horas se han tocado temas que en 5 años de carrera universitaria jamás toqué. No cabe duda que este mundo, en especial el de la tecnología, está en constante evolución e innovación y no podemos quedarnos con lo que se nos enseña en la universidad, que de por si ya está bastante obsoleto. No estoy diciendo que haber aprendido en C o C++ haya sido malo, sino que no se debería limitar a eso,. Yo por ejemplo, no tenia idea de la existencia de Hadoop o Blockchain, incluso creo recordar que se me mencionó en la universidad que no tenía caso estudiar algun otro tipo de BD que no fuera la relacional.

Eso es lo que quería compartir. Muchas gracias, Platzi.

Luis E. Gama Ramirez

student•

Me enfrento a lo mismo que tu, aunque yo sigo en la escuela … Los planes de estudio en cuanto a tecnología (aunque creo que en muchas otras áreas también, pero es mas en TECNOLOGÍA) se han quedado obsoletas.

Platzi me ayuda a estar pasos adelante de mis compañeros. Y eso dice mucho de en donde estamos aprendiendo.

Irma Davila

student•

pienso lo mismo x3

Yeraldine Martinez

student•

Oracle a partir de su versión 12c ofrece la posibilidad de manejar formato dual de almacenamiento en memoria, es decir acceso tanto en filas como en columna, manteniendo el resto de su funcionamiento tal cual.
Entre las ventajas de ellos es que ayuda tanto al área de OLTP como análisis inteligencia de negocios. Pueden leer el articulo completo aqui:
http://www.oracle.com/technetwork/es/articles/database-performance/oracle-database-12c-in-memory-2595521-esa.html

Elias Ojeda Medina

student•

Gracias por el aporte, está muy interesante el artículo.
Es tendencia que los SGBD implementen está funcionalidad, Microsoft hizo lo mismo donde permite configurar tablas que trabajen de este modo:

OLTP en memoria

Luis Garcia

student•

gracias por el aporte

David Auza

student•

Una base de datos columnar es un sistema de gestión de base de datos que almacena los datos en columnas en lugar de filas.

El objetivo de una base de datos columnar es escribir y leer datos de manera eficiente, desde y hacia el almacenamiento en disco duro, para acelerar el tiempo que se tarda en devolver el resultado de una consulta.

En una base de datos columnar, todos los valores de la columna 1 están físicamente juntos, seguido de todos los valores de la columna 2, etc. La información se almacena en orden de registro, por lo que la entrada número 100 para la columna 1 y la entrada número 100 para la columna 2 pertenecen al mismo registro de entrada. Esto permite que a los elementos de datos individuales, como al nombre de un cliente, por ejemplo, se acceda a través de columnas como un grupo en lugar de individualmente fila por fila.

Lo vamos a ver mejor con un ejemplo simple de una base datos de 4 columnas y 3 filas que contiene los siguientes datos:

ID apellido nombre bono

1 González Manuel 6000

2 Martínez Antonio 3000

3 Gutiérrez Alberto 2000

En un sistema de gestión de base de datos orientado a filas los datos se almacenarán de la siguiente manera: 1, González, Manuel, 6000; 2, Martínez, Antonio, 3000; 3, Gutiérrez, Alberto, 2000;

En un sistema de gestión de base de datos columnar los datos se almacenan de la siguiente manera: 1, 2, 3; González, Martínez, Gutiérrez; 6000, 3000, 2000;

Uno de los principales beneficios de una base de datos columnar es que los datos pueden ser altamente comprimidos. La compresión permite que las operaciones columnares como MIN, MAX, SUM, COUNT y AVG se realicen muy rápidamente. Otra ventaja es que debido a que un sistema de gestión de base de datos columnar es auto indexable, utiliza menos espacio en disco que un sistema de gestión de base de datos relacional que contenga los mismos datos.

Sin embargo, a medida que se incrementa la utilización de análisis de datos en memoria, los beneficios relativos de la base de datos columnar comparados con los de las bases de datos orientadas a filas pueden llegar a ser menos importantes. La analítica en memoria no tiene en cuenta la eficiencia en lectura y escritura de datos en un disco duro. En su lugar los datos se consultan en la memoria de acceso aleatorio RAM.

Algunos tipos de base de datos columnar son:

Sybase IQ
SAND
Vertica
ParAccel
InfoBright
Kickfire
Exasol
MonetDB
Microsoft SQL Server 2008 R2 Gemini/Vertipaq
Oracle Exadata2 (ambos, por filas y columnar)
Calpont’s InifiniDB

Fuente: https://www.informaticaparatunegocio.com/blog/fundamentos-una-base-datos-columnar/

Jhony Burbano

student•

Muy buen Aporte

Christopher Mejia

student•

Excelente información amigo, muchas gracias.

Cesar Alexander Guevara Duarte

student•

La mayoría de los sistemas de gestión de base de datos con los que se trabaja son orientados a filas. Puede que nunca les hayas aplicado esta etiqueta, pero es importante saber porqué se les llama así y que existe otra alternativa: la base de datos columnar.

Para muchos, incluso para los administradores de bases de datos, la necesidad de saber en profundidad cuestiones acerca del diseño de una página de datos, no ha sido algo primordial. Incluso los proveedores de una base de datos columnar, no necesariamente promueven sus productos de esa manera, sino que más bien promueven sus sistemas como la solución de consultas analíticas.

La principal alternativa actual a orientado a filas es orientado a columnas. Una base de datos columnar tienen ahora más importancia ya que pretende proporcionar una mejor propuesta de valor para una carga de trabajo analítica especializada, o incluso para un data warehouse completo.

Algunos tipos de base de datos columnar son:

Sybase IQ
SAND
Vertica
ParAccel
InfoBright
Kickfire
Exasol
MonetDB
Microsoft SQL Server 2008 R2 Gemini/Vertipaq
Oracle Exadata2 (ambos, por filas y columnar)
Calpont’s InifiniDB

Pueden encontrar mas información aquí:
https://www.informaticaparatunegocio.com/blog/fundamentos-una-base-datos-columnar/

Andric Alejandro Vargas Alarcón

student•

Qlik view: es una herramienta de bussiness intelegence en el cual se puede realizar analisis de información de una manera muy amigable, esta herramienta utiliza la indexación columnar (previa preparación de datos).

Les dejo un video de ejemplo (uso):
Video QlikView

Daniel Eduardo Portugal Revilla

student•

Es verdad, es una herramienta de business analyst. trabaje con ella con datos de millones de registros y los maneja de una forma muy optima. esto ayuda en la velocidad de busqueda y en el espacio de almacenamiento

giordano díaz merino

student•

Aquí mi pequeño aporte:

¿Que es una Base de datos columnar?
Una base de datos columnar es un sistema de gestión de base de datos que almacena los datos en columnas en lugar de filas.
¿Qué busca una Base de datos columnar?
El objetivo de una base de datos columnar es escribir y leer datos de manera eficiente, desde y hacia el almacenamiento en disco duro, para acelerar el tiempo que se tarda en devolver el resultado de una consulta.
La principal alternativa actual a orientado a filas es orientado a columnas. Una base de datos columnar tienen ahora más importancia ya que pretende proporcionar una mejor propuesta de valor para una carga de trabajo analítica especializada, o incluso para un data warehouse completo.
3.¿Que beneficios tiene utilizarla?
Uno de los principales beneficios de una base de datos columnar es que los datos pueden ser altamente comprimidos. La compresión permite que las operaciones columnares como MIN, MAX, SUM, COUNT y AVG se realicen muy rápidamente. Otra ventaja es que debido a que un sistema de gestión de base de datos columnar es auto indexable, utiliza menos espacio en disco que un sistema de gestión de base de datos relacional que contenga los mismos datos.

Dejo el link de la fuente , espero les sea de utilidad

giordano díaz merino

student•

[https://www.informaticaparatunegocio.com/blog/fundamentos-una-base-datos-columnar/]

Jecsham Castillo

student•

Buen aporte, gracias por compartirlo!

José Alberto Ortiz Vargas

student•

Este tipo de base de datos (In-Memory y con indexación columnar) se pueden usan para almacenar información no volátil, por ejemplo, un **datawerehouse ** para ser leído pero no modificado . Teniendo así información permanente y actualizada tomando únicamente la incorporación de los últimos valores sin ningún tipo de acción sobre la información que ya existía.

Camilo Rivera Quintero

student•

Alguna informacion que encontre sobre tipos de DB noSQL

Base de datos de Documentos: Este tipo de base de datos almacena la información como un documento, usando para habitualmente para ello una estructura simple como JSON, BSON o XML y donde se utiliza una clave única para cada registro. Este tipo de implementación permite, además de realizar búsquedas por clave–valor, realizar consultas más avanzadas sobre el contenidodel documento. Son las bases de datos NoSQL más versátiles.

**Almacenamiento Clave-Valor: **Son el modelo de base de datos NoSQL más popular, además de ser la más sencilla en cuanto a funcionalidad. En este tipo de sistema, cada elemento está identificado por una clave única, lo que permite la recuperación de la información de forma muy rápida, información que suele almacenarse como un objeto binario. Se caracterizan por ser muy eficientes tanto para las lecturas como para las escrituras.

Bases de datos de grafos: Usadas para aquellos datos cuyas relaciones se pueden representar adecuadamente mediante un grafo. Los datos se almacenan en estructuras grafo con nodos (entidades), propiedades (información entre entidades) y líneas (conexiones entre las entidades).

Base de datos Columnar (o Columna ancha): En vez de“tablas”, en las bases de datos de columna tenemos familias de columnas que, son los contenedores de las filas. A diferencia de los RDBMS, no necesita conocer de antemano todas las columnas, cada fila no tiene por qué tener el mismo número de columnas. Este tipo de bases de datos se adecuan mejor a operaciones analíticas sobre grandes conjuntos de datos.

Nicolas Rosales Arce

student•

hace tiempo me toco estudiar la indexacion columnar cuales son sus pro y contras en SQL Server, este concepto se empezo a desarrollar de a poco en sql server 2008, modificando el motor que este tenia, pero no fue hasta la version 2012, que implementaron de forma “oficial” la indexacion columnar (recomiendo utilizar desde la verison 2014 en adelante)
Los beneficios son notorios para la velocidad de obtencion de informacion en los sistemas de DWH, cuando se tiene gigas de informacion, y obtener informacion de forma rapida es importante, crear un indice columnar en la tabla es una sabia decision ya que puede mejorar en 10 veces la rapidez de la obtecion de la informacion, asi como readicir considerablemtente el espacio que utiliza la tabla en un disco duro, eso si no todo es felicidad ya que el contra que tiene es el aumento de los tiempos de escritura en la tabla, asi que lo recomendable es separar lo historico de lo del presente año, les ayudara un monton, asi que animo a implementar estas tecnologias 😉

Carlos Uriel de Jesus Sánchez González

student•

Bases de Datos In-Memory con indexación de columnar Una base de datos columnar es un sistema de gestión de base de datos que almacena los datos en columnas en lugar de filas.

Elisarrai Castelan

student•

Hola a todos! leí sus comentarios y estoy de acuerdo que la universidad tienen muchas materias de relleno y obsoletos para las necesitades y requerimientos que piden hoy en ida, en lo personal yo estudie la carrera de mercadotecnia y poco a poco me fui enamorando de la investigación de mercados y el análisis de información pero a mis 30 años veo algo complicado regresar a estudiar 4 años de ingeniería en sistemas y tener que complementar con otros cursos cuando lo hice al terminar de estudias MKT, creo que la dedicación, el esfuerzo y el interés esa final lo que determinara tu crecimiento profesional en la vida Saludos!

Carlos Aponte

student•

Las Bases de Datos en memoria (IMDB O MMDB) son sistemas de administracion de bases de datos que mantengan la data en la memoria principal.

Normalmente se usan en aplicaciones que demanden un manejo veloz de data para almacenamiento y manipulación de esta, y, que no necesariamente se manejen en disco, sin embargo, deben gestionar grandes cantidades de información; otro ejemplo importante podrian ser los sistemas embebidos, corriendo en tiempo real.

Juan Sebastian Montealegre Calle

student•

Investigando mas sobre Bases de Datos con indexación de columnar encontré este link
https://gravitar.biz/bi/base-datos-columnar/

Daniel Eduardo Portugal Revilla

student•

una de las exponentes de manejar datos en columnas es CASSANDRA DB.

Cassandra es esencialmente un híbrido entre un modelo Clave-Valor y una base de datos Tabular (Orientado a columnas).

La familia de columnas (llamada “Tabla” desde CQL3) se asemeja a una tabla en un RDBMS. Estas contienen filas y columnas. Cada fila tiene múltiples columnas, cada una de estas tiene a su vez un nombre, un valor y un timestamp. A diferencia de una tabla en un RDBMS, diferentes filas en una misma familia de columnas, no tiene por que compartir el mismo conjunto de columnas, y además, una columna puede ser añadida a una o a múltiples filas en cualquier momento. Cada clave en Cassandra, corresponde a un valor que es a su vez un objeto. Cada clave tiene valores como columnas, y las columnas son agrupadas en sets que son llamados familias de columnas. Así, cada clave identifica una fila con un número variable de elementos. Estas familias de columnas, pueden ser consideradas como tablas. Una tabla en Cassandra es un mapa multi-dimensional distribuido, indexado por una clave. Además, las aplicaciones pueden especificar el orden de las columnas dentro de una Súper Columna, o una Familia de Columnas Simples.

Carlos David Ramirez Muñoz

student•

Las bases de datos in memory permiten hacer consultas de una manera muy rapida, es posible dividir los bloques de informacion y aplicar analisis a los datos para reducir costos. Gracias a este tipo de bases de datos se avanzo en servidored multicore y el precio de la ram bajó

Carlos Uriel de Jesus Sánchez González

student•

es una base de datos cuyos datos están almacenados en la memoria principal para facilitar tiempos más rápidos de respuesta. Los datos de origen se cargan a la memoria del sistema en un formato comprimido no relacional. Las bases de datos en memoria optimizan el trabajo relacionado con el procesamiento de consultas

Luis Fernando Méndez González

student•

Mientras una base de datos relacional está optimizada para almacenar filas de datos, normalmente para aplicaciones transaccionales, una base de datos en columnas está optimizada para lograr una recuperación rápida de columnas de datos, normalmente en aplicaciones analíticas. El almacenamiento basado en columnas para las tablas de bases de datos es un factor importante en el desempeño de las consultas analíticas, ya que reduce notablemente los requisitos globales de E/S del disco, y disminuye el volumen de datos que hay que cargar desde él.
De la misma forma que otras bases de datos NoSQL, las bases de datos columnares están diseñadas para reducir la escala utilizando clústeres distribuidos de hardware de bajo coste para aumentar el desempeño, de manera que resultan ideales para el almacenamiento de datos y el procesamiento de Big Data.

David Luna

student•

En este artículo http://www.oracle.com/technetwork/es/articles/database-performance/in-memory-column-store-3030245-esa.html IBM nos explica con un caso practico las ventajas del uso de una BD in Memory con respecto a una tradicional. Me pareció interesante y me ayudó a comprender mejor todo el tema. Espero les sirva.

Maurcio Herrera M

student•

Saludos.
Comparto esta entrada de AWS https://aws.amazon.com/es/nosql/ sobre NoSQL y sus diferencias con SQL … donde también explican los cuatro tipos de bases de datos NoSQL principales: en columnas, de documentos, de gráficos y de valor clave en memoria. Generalmente, estas bases de datos difieren en la manera en que se almacenan, acceden y estructuran los datos. Además, estás optimizadas para diferentes casos de uso y aplicaciones, principalmente para juegos, redes sociales e internet de las cosas entre otras.

Esta otra entrada https://docs.aws.amazon.com/es_es/redshift/latest/dg/c_columnar_storage_disk_mem_mgmnt.html muestra un ejemplo sobre las ventajas del almacenamiento en columnas frente al de filas y como este permite ganar eficiencia y ahorro en costos. Aquí también hay acceso a un texto donde explican todo lo relacionado con el desarrollo de bases de datos.

De SQL a NoSQL dejo el acceso a una entrada de AWS y un video. Ambos con conceptos y elementos importantes para tener presentes en la práctica.
https://docs.aws.amazon.com/es_es/amazondynamodb/latest/developerguide/SQLtoNoSQL.html
https://www.youtube.com/watch?v=RLxWobyd2Tc

¿Qué implicaciones tendría migrar una aplicación en producción de una BD SQL a una NoSQL? ¿Hay que volver a diseñar la aplicación y su lógica?

Juan Carlos Pinzón

student•

Gracias por el aporte

Pablo Martinez

student•

Las Bases de Datos Columnares se introdujeron por primera vez en 1970 en productos como Model 204 y ABABAS, este enfoque ha resurgido recientemente en Vertica y en cierta medida en QD Technology.

Como su nombre lo indica, las bases de datos están organizados de columna por columna en lugar de la fila: es decir, todos los casos de un solo elemento de datos (por ejemplo, Nombre de cliente) se almacenan de modo que se puede acceder como una unidad. Esto los hace especialmente eficaz en las consultas analíticas, como la lista de selecciones, que a menudo lee unos pocos elementos de datos, pero necesitamos ver todas las instancias de estos elementos. En contraste, una convencional base de datos relacional almacena los datos por filas, por lo que toda la información de un registro (fila) es inmediatamente accesible. Esto tiene sentido para las consultas transaccionales, que suelen referirse a un registro a la vez

Bases de Datos In-Memory con indexación de columnar

Introducción al Curso Fundamentos de Bases de Datos

¡Vamos a renovar este curso!

Introducción al Curso de Bases de Datos

Teoría general de Bases de Datos

Propósito general de las Bases de Datos

Tipos de Bases de Datos y sus aplicaciones en la industria

Visión general de los datos

Tipos de Datos

Diferentes tipos de Bases de Datos

Reto ¿Hadoop y Blockchain podrían cambiar una Base de Datos tradicional?

Bases de Datos Relacionales

¿Qué es una Entidad?

¿Qué es una Relación?

Características o datos de una Entidad

¿Ya aparecieron las llaves?

Índices e Indexación

Constraints o Restricciones

Capas de abstracción del modelo Entidad-Relación

Metodología básica de 9 pasos con Barker (Paso 1) Identificar Cuáles son las Entidades Resuelven Nuestro Problema

Metodología básica de 9 pasos con Barker (Paso 2): Identificación de las Relaciones de las Entidades.

Metodología básica de 9 pasos con Barker (Paso 3): Entidades y Relaciones

Metodología de Diseño (Correcciónes del paso 2 y 3)

Metodología de Diseño (Paso 4): Asignar Atributos a las Entidades.

Metodología de Diseño (Solución del paso 4): Terminando de Asignar Atributos a las Entidades

Metodología de Diseño (Pasos 5, 6 y 7) 5. Generar un diagrama conceptual, 6. Modelo lógico, 7. Identificar nuevos atributos que generan nuestras entidades débiles.

Metodología de Diseño (Paso 8): Construir el Diagrama del Modelo Físico

Metodología de Diseño (Paso 9): Pasar al estándar de la base de datos (SQL)

Reto con el paso 4 de la Metodología de Diseño

Bases de Datos NO Relacionales y Otros tipos de Bases de Datos

Atomicidad y consistencia

Aislamiento y durabilidad

Bases de Datos In-Memory (Cambio de árboles a columnar)

Otros tipos de Bases de Datos en la industria

Bases de Datos In-Memory con indexación de columnar

Definiendo el Proyecto y Generando Entidades de PlatziStore: Pasos 1 y 2

Definir la Estructura de la Tabla Cliente del Proyecto: Pasos 3 y 4

Terminando de Estructurar Nuestras Tablas (Continuación del paso 4)

Metodología de Diseño (Paso 5): Diagrama Conceptual

Metodología de Diseño (Paso 6 y 7): Modelo Lógico y Entidades Débiles

Solución de atributos de entidad del proyecto - Atributos adicionales a entidad débil creada

Metodología de Diseño (Paso 8)

Llevando nuestro proyecto a SQL (Paso 9)

Terminando la Implementación del Proyecto (Paso 9)

Dependencias funcionales

Normalización, llevando el proyecto hasta tercera forma normal (primera forma normal)

Normalización, llevando mi proyecto hasta tercera forma normal (segunda forma normal)

Normalización, llevando mi proyecto hasta tercera forma normal (Cuarta y quinta forma normal)

Comenzando con SQL

DDL: Data Definition Language y DML: Data Manipulation Language

ACID desde lo no relacional

CAP

Scale Out y Scale Up

¿Scale out o Scale up?

DBMS en nube para poder iniciar una aplicación propia

IMPORTANTE: Preparación del entorno de trabajo

Estructura básica de un Query

Aprendiendo a Hacer más Querys

Estructura básica del Query con más de una tabla

Estructura básica del Query con más de una tabla 2

Tuplas y más tuplas

Insertar registros

Joins

Noo SQL Aplicado, Planteando el Problema

Aplicando NoSQL: Colecciones y Shards

Aplicando noSQL: Integración de Comunicaciones y Hardware en una Base de Datos Scale OUT

Aplicando noSQL: Integrando JSON a Bases de Datos No Relacionales

Conclusiones del curso