Bases de Datos In-Memory (Cambio de árboles a columnar)

Clase 28 de 63 • Fundamentos de Bases de Datos 2017

Ivan Robles

student•

Las bases de datos tradicionales (basada en arboles) hacen una búsqueda por cada uno de los datos de la tabla hasta llegar al resultado.

En las bases de datos In-Memory (columnares), el esquema de búsquedas seleccionan una columna (por ejemplo Identificador) recorriendola hasta llegar al resultado, dando un mejor rendimiento.

Luis Andrade

student•

pot este aporte logre entender, muchas gracias!!

Ivan Robles

student•

De nada, son mis apuntes tambien 😉

Oscar Téllez

student•

¿ Esto sería lo mismo que hablar de OLAP y OLTP ?
Procesamiento analítico en línea
Procesamiento de Transacciones En Línea

Diego Forero

Team Platzi•

No, aquí estamos hablando de como trabajan las bases de datos en memoria como Redis.

OLAP se enfoca mas al procesamiento de la información para generar reportes, esta información puede tener una única fuente de datos o varias fuentes de datos de donde se genera el reporte.

OLTP se enfoca en la administración de aplicaciones orientadas a transacciones, como tal son sistemas y no solo bases de datos.

Oscar Téllez

student•

Gracias GOLLUM23

Daniel Cadavid

student•

 Las consultas en las bases de datos tradicionales se realizan de manera horizontal en todas las filas de la tabla, por el contrario en bases de datos In-Memory las realiza de manera vertical en todas las columnas de la tabla. Ejemplo:

La búsqueda por árbol b+ ó tradicional seria así: 10, abc, 100, 18, def, 101, 24, gh1, 110…

La búsqueda In-Memory (como redis) seria así: 10, 18, 24, 53, abc, def, ghi, jk…

 Importante leer este artículo sobre bases de datos en memoria para conocer su funcionamiento https://sg.com.mx/revista/38/bases-datos-memoria#.WhsdqUribb0
 Las bases de datos tradicionales (basada en arboles) hacen una búsqueda por cada uno de los datos de la tabla hasta llegar al resultado.
En las bases de datos In-Memory (columnares), el esquema de búsquedas seleccionan una columna (por ejemplo Identificador) recorriéndola hasta llegar al resultado, dando un mejor rendimiento.

OLAP se enfoca más al procesamiento de la información para generar reportes, esta información puede tener una única fuente de datos o varias fuentes de datos de donde se genera el reporte.

OLTP se enfoca en la administración de aplicaciones orientadas a transacciones, como tal son sistemas y no solo bases de datos.
 La base de datos basada en árbol carga en memoria la información fila a fila. La base de datos basada en memoria, carga los datos columna a columna.
 La ventaja que aporta la base de datos en memoria, es que las búsquedas por un campo son mucho más rápidas, así como los cálculos sobre una columna (como promedios, sumatorios, etc).

Tony Crespo Berti

student•

Pregunto: si en ese ejemplo de entidad tengo un índice o clave asociado al campo ID, aun siendo el esquema B-Tree, la indexación ordenaría por la columna ID y por consiguiente el sistema buscaría por coincidencia del campo indice ID lo que me sugiere que en la práctica de hecho es una búsqueda columnar al ir descartando el resto de los datos de la fila asociados al ID que no corresponde y saltando a la siguiente posición o registro.
No se si al ser un clave compuesta y no numérica cambie algo, aunque me sigue siendo similar aunque tarde más en coincider al tener que comparar caracter a caracter.

Carlos Uriel de Jesus Sánchez González

student•

Las bases de datos tradicionales (basada en arboles) hacen una búsqueda por cada uno de los datos de la tabla hasta llegar al resultado.
En las bases de datos In-Memory (columnares), el esquema de búsquedas seleccionan una columna (por ejemplo Identificador) recorriendola hasta llegar al resultado, dando un mejor rendimiento.
OLAP se enfoca mas al procesamiento de la información para generar reportes, esta información puede tener una única fuente de datos o varias fuentes de datos de donde se genera el reporte.
OLTP se enfoca en la administración de aplicaciones orientadas a transacciones, como tal son sistemas y no solo bases de datos.

Benito Manuel González Rodríguez

student•

La base de datos basada en árbol carga en memoria la información fila a fila.

La base de datos basada en memoria, carga los datos columna a columna.

La ventaja que aporta la base de datos en memoria, es que las búsquedas por un campo son mucho más rápidas, así como los cáculos sbre una columna (como promedios, sumatorios, etc).
Por otro lado, las bases de datos en árbol tienen mejor rendimiento para la modificación (alta, baja, modificación) de registros, así como la obteción de registros completos.

Mario Alejandro Cortez Salinas

student•

Si alguien aún tiene dudas sobre las BD No-SQL puede checar este link que lo explica un poco mas a fondo.
https://www.acens.com/wp-content/images/2014/02/bbdd-nosql-wp-acens.pdf

Iván Toro

student•

Un ejemplo de base de datos en memoria es Redis.

IVÁN ROMERO RODRÍGUEZ

student•

Me surge una duda…
Si estas bases de datos que corren en memoria, por alguna razón se llegara a apagar el host en el que vive esta instancia, ¿Qué pasa con la información?

Daniel Luque Soria

student•

La información se pierde. Lo habitual es que cada cierto tiempo se escriba en disco para evitar la perdida de información.

student•

La única base de datos en memoria que conozco hasta ahora es Redis.

Daniel Gomez

student•

Informacion por parte de Amazon sobre:

Base de datos Columnar.
Base de datos Documental.
Base de datos Graficos

https://aws.amazon.com/es/nosql/document/

JUAN SEBASTIAN RODRIGUEZ JIMENEZ

student•

buen aporte

Joaquín Emanuel Singer

student•

Tengo una duda. En este curso se menciona la estructura de arboles B, y en la universidad me enseñaron algo sobre Hashing ¿hay una relacion con la funcion hash y las BD columnares?

Edilson Fernando González Martínez

student•

Si hay una relación, inclusive las bases de datos en filas también usan hash tables para hacer búsquedas. Recuerdas cuando el maestro mencionaba que si no utilizabas números como IDs de las tablas la base de datos podría tener problemas de rendimiento? Imagina que escogistes una cadena (varchar o fija) como identificador de tu tabla, el manejador de base de datos para no tener que comprar caracter por caracter es mas fácil pasar de parámetro la cadena a una función hash (en tu clase me imagino que te explicaron que un hash funciona teniendo una función matemática y ingresas un valor y ese valor computa un resultado y ese resultado es el que se guarda en el hash), así si ambos son iguales es el identificador que estamos buscando.

También existe una forma más especializada de Hashing que incluye buckets. Imagínate que una base de datos crece hasta tener varios millones de registros, inclusive los índices se volverían archivos descumunalmente grandes, así que el gestor de base de datos sube porciones a memoria (buckets) donde usa técnicas como el hashing para encontrar cosas más rápido.

Algo importante que rescatar es que estructuras de datos como el árbol B+ están pensadas para trabajar en disco duro porque necesitan mucho espacio, las técnicas como hashing son preferidas para utilizarlas sobre memoria porque solo requieren poder computacional y considerablemente menos espacio que un árbol B+.

Cristian Orozco Benjumea

student•

No se si es una pregunta simple o sin sentido pero si me gustaría aclarar algo.
Es posible que en las BD In-Memory una vez encontrado el dato en una columna continue desde la misma fila buscando sin necesidad de empezar de cero. Me explico:
Supongamos que estamos buscando el ID 24, una vez encontrado no pase a buscar desde abc sino que haga la consulta desde ghi, es posible o no me quedó claro el funcionamiento?

Diego Forero

Team Platzi•

No es algo práctico ya que no sabes cual sera la siguiente búsqueda puede ser algo que este después o antes, si esta antes entonces tendría que terminar de recorrer todos los registros e iniciar nuevamente para encontrarlo.

David Luna

student•

Eso lo puedes hacer a nivel de programación usando cursores.

Asahi Cantu Moreno

student•

Comparto un enlace que me ayudó a entender meior el por qué de las bases de datos basadas en columnas, y el software open source que las puede gestionar.
Enlace

Estefany Minerva Camarena Gordillo

student•

Muchas gracias ^_^

Victor Marcano

student•

Con base de datos In-Memory (Columnares) se optimiza por montón la búsqueda de los datos. Es mas eficiente. Por eso hay que tener conocimiento de las estructuras.

Pablo Martinez

student•

Resumen de clase

Bases de Datos In-Memory (Cambio de árboles a columnar)

Bases de datos en memoria y como es el cambio de su indexación de ser un sistema que esta basado en árboles a ser un sistema basado en columnas

Para una base de datos columnar vamos a cambiar ese esquema de búsqueda, si yo quiero select la columna ID solamente voy a tomar esa columna identificador para la búsqueda

john fredy quimbaya orozco

student•

que tipo de base de datos es un db2 ya que en esas hay mucha redundancia ?

Diego Forero

Team Platzi•

db2 es una base de datos relacional creada por IBM, recuerda que no hay una verdad absoluta sobre el diseño de bases de datos, muchas veces es mejor tener redundancia para tener consultas más eficientes, el problema es cuando tienes demasiada redundancia de datos.

Juan Diego Silva Garcia

student•

Para una Aplicación Web, lo mejor es tener una Base de datos In-Memory?

David Toca

student•

debido a que la información que se usa en una base de datos en una aplicación web suele ser relacional, resulta más conveniente usar una base de datos tradicional

Edilson Fernando González Martínez

student•

Depende para que la quieras, por ejemplo si solo necesitas almacenar (hacer inserciones de datos nuevos o actualizar los ya existentes) y consultar registros individuales, hacer conteos poco frecuentes lo mejor es que utilices una base de datos basada en filas. La mayoría de aplicaciones encajan en este patrón.

Si lo que deseas es analizar el comportamiento de todos tus clientes, realizar predicciones en base a las compras de un mes, un año por ejemplo, si quieres extraer reportes realmente complejos a partir de los datos que has recolectado por mucho tiempo, lo mejor es que utilices una base de datos columnar.

Juan Camilo Álvarez Muñoz

student•

es muy interesante cada uno de estos aportes

Tony Crespo Berti

student•

Pregunto: si en ese ejemplo de entidad tengo un índice o clave asociado al campo ID, aun siendo el esquema B-Tree, la indexación ordenaría por la columna ID y por consiguiente el sistema buscaría por coincidencia del campo indice ID lo que me sugiere que en la práctica de hecho es una búsqueda columnar al ir descartando el resto de los datos de la fila asociados al ID que no corresponde y saltando a la siguiente posición o registro.
No se si al ser un clave compuesta y no numérica cambie algo, aunque me sigue siendo similar aunque tarde más en coincider al tener que comparar caracter a caracter.

Iván Darío Sánchez Jiménez

student•

Una recomendación para los que tenemos sistemas de informacion con administracion de usuarios y es evitar al listar los usuarios una consulta del tipo:

SELECT * FROM users

Además de que trae toda la información del usuario, esta podría incluir la contraseña. La forma correcta sería tal como lo hace el profesor llamando solo las columnas que vamos a listar.

Bases de Datos In-Memory (Cambio de árboles a columnar)

Introducción al Curso Fundamentos de Bases de Datos

¡Vamos a renovar este curso!

Introducción al Curso de Bases de Datos

Teoría general de Bases de Datos

Propósito general de las Bases de Datos

Tipos de Bases de Datos y sus aplicaciones en la industria

Visión general de los datos

Tipos de Datos

Diferentes tipos de Bases de Datos

Reto ¿Hadoop y Blockchain podrían cambiar una Base de Datos tradicional?

Bases de Datos Relacionales

¿Qué es una Entidad?

¿Qué es una Relación?

Características o datos de una Entidad

¿Ya aparecieron las llaves?

Índices e Indexación

Constraints o Restricciones

Capas de abstracción del modelo Entidad-Relación

Metodología básica de 9 pasos con Barker (Paso 1) Identificar Cuáles son las Entidades Resuelven Nuestro Problema

Metodología básica de 9 pasos con Barker (Paso 2): Identificación de las Relaciones de las Entidades.

Metodología básica de 9 pasos con Barker (Paso 3): Entidades y Relaciones

Metodología de Diseño (Correcciónes del paso 2 y 3)

Metodología de Diseño (Paso 4): Asignar Atributos a las Entidades.

Metodología de Diseño (Solución del paso 4): Terminando de Asignar Atributos a las Entidades

Metodología de Diseño (Pasos 5, 6 y 7) 5. Generar un diagrama conceptual, 6. Modelo lógico, 7. Identificar nuevos atributos que generan nuestras entidades débiles.

Metodología de Diseño (Paso 8): Construir el Diagrama del Modelo Físico

Metodología de Diseño (Paso 9): Pasar al estándar de la base de datos (SQL)

Reto con el paso 4 de la Metodología de Diseño

Bases de Datos NO Relacionales y Otros tipos de Bases de Datos

Atomicidad y consistencia

Aislamiento y durabilidad

Bases de Datos In-Memory (Cambio de árboles a columnar)

Otros tipos de Bases de Datos en la industria

Bases de Datos In-Memory con indexación de columnar

Definiendo el Proyecto y Generando Entidades de PlatziStore: Pasos 1 y 2

Definir la Estructura de la Tabla Cliente del Proyecto: Pasos 3 y 4

Terminando de Estructurar Nuestras Tablas (Continuación del paso 4)

Metodología de Diseño (Paso 5): Diagrama Conceptual

Metodología de Diseño (Paso 6 y 7): Modelo Lógico y Entidades Débiles

Solución de atributos de entidad del proyecto - Atributos adicionales a entidad débil creada

Metodología de Diseño (Paso 8)

Llevando nuestro proyecto a SQL (Paso 9)

Terminando la Implementación del Proyecto (Paso 9)

Dependencias funcionales

Normalización, llevando el proyecto hasta tercera forma normal (primera forma normal)

Normalización, llevando mi proyecto hasta tercera forma normal (segunda forma normal)

Normalización, llevando mi proyecto hasta tercera forma normal (Cuarta y quinta forma normal)

Comenzando con SQL

DDL: Data Definition Language y DML: Data Manipulation Language

ACID desde lo no relacional

CAP

Scale Out y Scale Up

¿Scale out o Scale up?

DBMS en nube para poder iniciar una aplicación propia

IMPORTANTE: Preparación del entorno de trabajo

Estructura básica de un Query

Aprendiendo a Hacer más Querys

Estructura básica del Query con más de una tabla

Estructura básica del Query con más de una tabla 2

Tuplas y más tuplas

Insertar registros

Joins

Noo SQL Aplicado, Planteando el Problema

Aplicando NoSQL: Colecciones y Shards

Aplicando noSQL: Integración de Comunicaciones y Hardware en una Base de Datos Scale OUT

Aplicando noSQL: Integrando JSON a Bases de Datos No Relacionales

Conclusiones del curso