Reto ¿Hadoop y Blockchain podrían cambiar una Base de Datos tradicional?

Clase 8 de 63 • Fundamentos de Bases de Datos 2017

Ivan Robles

student•

Bien podríamos seguir utilizando bases de datos tradicionales extendiendo su funcionalidad conectándolas a bases de datos como Hadoop y Blockchain (creo que así se hace actualmente). Y es por eso que no es necesario cambiar el esquema de las bases de datos actuales.

Sabemos que los datos por si solos no representan nada hasta que sean procesados, siendo así para que Hadoop y otras herramientas de** BigData** procesen grandes cantidades de datos, se pueden seguir usando las bases de datos tradicionales.

Ahora si hablamos de las transacciones, en el caso de Blockchain (que tambien es una base de datos con peculiaridades) que cuenta con inmutabilidad de datos descentralizados.

Y ustedes creen que estaría bien crear un Frankenstein de tipo Data Scheme + High Data Process + Blockchain transactions?

Yo digo que crear algo así es contra natura, y va en contra de la moral de los datos!!

Luis Abdel Rangel Castro

student•

Si se hacen bien las cosas podemos ser un banco…

Blockchain impulsará a los bancos a ser organizaciones de estándares de TI.

Los bancos ya dependen de TI, aunque no son conductores de TI. Con Blockchain, los bancos ya están impulsando soluciones tecnológicas, construyendo plataformas de asentamiento de Blockchain e investigando plataformas de pago, etc. Otras grandes plataformas peer-to-peer seguirán, inicialmente con los pares siendo instituciones financieras. Se puede prever que los bancos custodios realicen la validación, es decir, emitan “pases” electrónicos a las instituciones financieras y, posteriormente, al público. Los bancos (o como un consorcio) se convertirán en organizaciones de estándares de TI para soluciones tecnológicas. Existe un precedente con organizaciones como la Comunidad de Comercio FIX.

Los datos “no utilizados” de los bancos generarán soluciones.

Los bancos tienen una enorme cantidad de datos, la mayoría de ellos sin usar. Esto se debe a que sus sistemas ejecutan un proceso. Los datos están ligados a ese proceso. Asi que:

Solo se utilizan los datos que el proceso requiere
Los datos no son compartidos
Los datos están duplicados
Como cada proceso genera datos, los datos se duplican. El 80% de los datos únicos que tiene un banco nunca se utilizan en ningún proceso integral o de manera responsable y beneficiosa para todos sus clientes.

Hadoop (Big Data Technology / Analytics) facilita una reducción fundamental en los costos de administración de datos y aumenta el alcance del acceso a los datos. Lo hace de una manera segura, increíblemente rápida en grandes volúmenes de datos. Los problemas de soberanía de datos se desvanecen y (con Blockchain) las rutas de auditoría completas están disponibles al instante. La conclusión es: acceda una vez, use muchas.

Blockchain desafía cómo los bancos abordan los datos.

¿Qué pueden hacer los bancos con la gran cantidad de datos que tienen en el gran mundo de “Blockchain”? Usando los datos, los bancos proporcionarán modelos. Estos modelos representarán las consecuencias (riesgo) de cualquier transacción prevista.

Los bancos aumentarán sus ofertas analíticas y de previsión a sus clientes, ya sean de consumo, corporativos o institucionales.

Ricardo Celis

teacher•

Excelente We! sería cool si vas haciendo sugerencias a los demás!

Daniel Morales

student•

Definitivamente si. Aqui hay un ejemplo aplicado a la industria bancaria: https://www.linkedin.com/pulse/hadoop-blockchain-how-banks-survive-paul-lee-simion/

Y aqui hay un articulo sobre una base de datos basada en Blockchain: https://blog.bigchaindb.com/blockchains-for-big-data-from-data-audit-trails-to-a-universal-data-exchange-cf9956ec58ea

Ambos articulos hablan de las enormes ventajas de trabajar con estas tecnologias, al poder escalar y aprovechar la data que las industrias generan. La base de datos tradicional podria seguir como un primer escalón (recolectar data), pero bases de datos enfocadas en Big data serán como un segundo escalón que permiten sacar provecho a esa data recolectada.

Luis Abdel Rangel Castro

student•

Si se hacen bien las cosas podemos ser un banco…

Blockchain impulsará a los bancos a ser organizaciones de estándares de TI.

Los datos “no utilizados” de los bancos generarán soluciones.

Los bancos tienen una enorme cantidad de datos, la mayoría de ellos sin usar. Esto se debe a que sus sistemas ejecutan un proceso. Los datos están ligados a ese proceso. Asi que:

Blockchain desafía cómo los bancos abordan los datos.

Los bancos aumentarán sus ofertas analíticas y de previsión a sus clientes, ya sean de consumo, corporativos o institucionales.

Ricardo Celis

teacher•

Excelente Daniel! no olvides leer las propuestas de los demás y hacer tus sugerencias!

Sebastián Sánchez

student•

No soy un experto en esto ni nada parecido, pero lo que puedo entender es que Hadoop puede obtener información nueva, y al mismo tiempo, descubre o analiza cualquier otro tipo de analisis a sus datos, como por ejemplo millones de datos historicos almacenados en una base tradicional. Pero aunque tiene varias ventajas también cuenta con desventajas como por ejemplo la latencia para el acceso a datos, tiene grande cantidades de archivos pequeños, etc. Por lo que veo, se puede complementar con otros sistemas de bases de datos tradicionales, sería lo ideal … creo yo …

Edwin Torres

student•

Exactamente, usar la sinergia.

Axel de la Torre

student•

Coincido contigo

Luis Abdel Rangel Castro

student•

Hadoop
Permite el procesamiento distribuido de grandes conjuntos de datos a través de grupos de computadoras utilizando modelos de programación simples. Está diseñado para escalar desde servidores únicos a miles de máquinas, cada una de las cuales ofrece cómputo y almacenamiento local.

La mayoría de los nodos completos de blockchain operan completamente de forma independiente y pasan su tiempo validando las transacciones. El hecho es que cada nodo completo en el protocolo de Bitcoin o Ethereum tiene una copia completa de toda la cadena, es decir, cada transacción que ha ocurrido desde el bloque cero. Operan y validan por consenso, por lo que es realmente sin cabeza, no un clúster distribuido.

HDFS está organizado en un nodo (generalmente) como “solo un grupo de discos” (JBOD), lo que significa que ni siquiera suelen molestarse con RAID. La replicación se realiza entre nodos, pero no es una replicación completa, lo que significa que puede haber 5 copias de un archivo en un clúster mediano o grande y existe la posibilidad (que aumenta con el tamaño del clúster) de que las fallas de disco causen la pérdida real de datos. .

HDFS escala masivamente, pero es inherentemente riesgoso y requiere una estrategia de respaldo. Con blockchain, por otro lado, es mucho más compacto, pero dado que hay miles o millones de copias completas del libro mayor, cada una de las cuales es difícilmente modificable después del hecho, es prácticamente imposible perder datos.

Ricardo Celis

teacher•

Excelente Luis! no olvides leer las propuestas de los demás y hacer tus sugerencias!

Luis Abdel Rangel Castro

student•

Gracias Ricardo.

Juan Pablo Gómez Monsalve

student•

¿Hadoop y Blockchain podrían cambiar una Base de Datos tradicional?

No, por que si podemos ver **Hadoop **es solo un **framework **que puedo utilizar en cualquier instancia de tiempo para analizar datos y sacar información que me puede servir para tomar decisiones, y **Blockchain **es solo un método para **cifrar **datos que lo utilizan con las criptomonedas, y no veo de que manera puedan reemplazar las bases de datos tradicional si estas antes mencionadas necesitan de una Base de datos tradicional de donde tomar los datos.

Brian Salvador Radilla Hernández

student•

Excelente diferenciación entre tecnologías. Estas funcionan para fortalecer las Bases de Datos tradicional, no para sustituirla. Saludos

Ronnie Moncayo

student•

Blockchain NO es un método para cifrar, el cifrado de información en Blockchain es una de sus características principales, pero no es cifrar, y tampoco aplica a datos de las cryptos, las cryptos es solo una forma más de aplicación de Blockchain, ya que este puede ser manejado en múltiples formas de negocio y mejorándolo (Contratos inteligentes, etc), para mas información de Blockchain por favor acá: https://www.hyperledger.org/ de la fundación Linux.

Felix Nader

student•

Hadoop permite manejar altos volúmenes de datos de manera distribuida haciendo más seguro rápido y económico el manejo de los datos. Y por lo que pude investigar blockchain también se maneja de manera distribuida pero super segura por la forma en que se estructura. Definitivamente están generando una revolución en el manejo de bases de datos pero al menos en el corto plazo no creo que sustituyan a las bases relacionales tradicionales por que cada una tiene algo así como una ventaja específica sql fácil implementación y gran variedad de software o programas Hadoop posibilidad de manejar grandes volúmenes de datos de manera segura y más económica y blockchain bases de datos distribuidas que garantizan la seguridad y autenticidad de los datos. Cual elegir depende de la naturaleza del proyecto a desarrollar

Jose Ramos

student•

Muchas gracias por compartir esto. Me sirvió mucho para entender más acerca de estas dos tecnologías. 💪🏽

Andrés Medina Arroyave

student•

La verdad es que es un tema en el que no puedo opinar mucho, apenas me estoy empapando, pero me sirvió mucho su aporte para estructurar lo que estoy investigando. Gracias!

Danny Richard Castillo Lozano

student•

Este vídeo explica muy bien el blockchain
https://www.youtube.com/watch?v=Yn8WGaO__ak

Andrés Medina Arroyave

student•

Excelente video man, buenísimo, muy bien explicado definitivamente

Estefany Minerva Camarena Gordillo

student•

Justo estaba buscando algo que me explique bien que era el blockchain y ese vídeo fue lo máximo!!!! Muchas gracias me sirvió de mucho. ^_^

Walter Daniel Acuña

student•

challenge acepted
BlockChain tiene potencial como tecnología para desplazar una serie de bases de datos con algunas modificaciones o actualizaciones en su software. Por Ejemplo: Que los bloques ya no se organicen dispersos al publico, si no que TAL VEZ en una red centralizada especial para quienes lo quieran usar como base de datos y en ves de transacciones; ese MVP se utilice como una API que conecta Web con Web. Y por otro lado Hadoop haga de organización y solución a múltiples problemas que varían en BigData. (cabe destacar que no se si correcto algo de lo dicho)

Noe Mikhael Huaccharaque Ruiz

student•

Reto Aceptado… ¿Hadoop y Blockchain podrían cambiar una Base de Datos tradicional?
Yo creo que si, yo lo usaria(Hadoop) en como mi base de datos (Cuando tenga mas de 10 Terabit de datos valdria la pena), lo que nos plantea Hadoop es el principio divide y venceras(divide un dato grande y lugo lo fragmenta en distintos servers y luego volverlos a juntar).

Pero Blockchain creo que le queda como anillo cambiar el sistema monetario Mundial, por razones que es; seguro y “rapido”

Rony Javier Velásquez Córdova

student•

Hola, desde mi punto de vista la respuesta es sí, estas tecnologías (hadoop y blockchain) van a cambiar la forma en que trabajamos las bases de datos, quizás no en su totalidad pero de hecho se implementarán de forma diferente, sabemos de los grandes cambios que tenemos con el internet en la forma que nos comunicamos, hoy en día utilizamos mucho el internet, para estudiar, comprar, comunicarnos, etc, esto genera que la empresas deben tener una mayor presencia en la red, por tal motivo manejarán una gran cantidad de datos y para esto tenemos a hadoop que permite procesamiento de grandes cantidades de datos, más económico y eficiente, por estos y muchos más motivos las empresas buscarán sacarle provecho a esta tecnología, por otro lado blockchain, muchos cuando escuchamos de esta tecnología lo asociamos con bitcoin, pero sin embargo permite más que eso, como es para el internet de las cosas, otro muy importante cambio que promete esta cadena de bloques (blockchain) es el voto electrónico, bien sabemos que tradicionalmente este proceso es centralizado y con esta tecnología será mucho más eficiente ya que no podría ser alterado, se podrá hacer acuerdos y transacciones de forma segura e inmediata, debido a que nos da estos beneficios, sin lugar a duda cambiará nuestra forma de entender los negocios y la sociedad. Ahora la pregunta es:

¿Teniendo en cuenta las políticas, valores, etc. de cada país, qué cambios podríamos obtener si blockchain se aplica al voto electrónico, rediseñaría todo el proceso electoral?

Jherom Chacon

student•

Bueno, las bases de datos tradicionales tienen características bien definidas, como su disponibilidad y configuración cerrada. Se encuentran orientadas a un esquema en el que los datos se encuentran reservados para una arquitectura cliente servior, ya sean bases de datos SQL o No SQL.

Sin embargo, por parte de Hadoop encontramos una arquitectura descentralizada a cierto nivel que implementa paralelismo para manejar grandes volumenes de información. No es que esta tecnología reemplace las bases de datos tradicionales, si no más bien las complementa.

Ahora se generan grandes volumenes de información que pueden ser gestionados a partir de herramientas como Hadoop. Estos grandes volumenes de datos perfectamente pueden alimentar una base de datos tradicional con informacion fresca y constante sobre actividad en redes sociales, por ejemplo acerca de la satisfacción del cliente.

Por otro lado Blockchain puede llegar a sugerir un nuevo paradigma descentralizado y de alta redundancia que rompa por completo la arquitectura cliente servidor. Las capacidades de encriptación de esta tecnología pueden llegar a sugerir una alternativa para solucionar el problema de la seguridad para información altamente sensible.

Ambas tecnologías finalmente están orientadas a despegar del modelo centralizado del cliente servidor y a utilizar modelos distribuidos para fines distintos.

Javier Andrés Jiménez Flores

student•

Tengo el mismo problema

David Auza

student•

No soy muy conocedor del tema, pero creería que estas dos nuevas tecnologías influyen enormemente en la manera como se usan las bases de datos hoy en día, pero no necesariamente pueden llegar a ser un reemplazo. Podríamos decir que estas tecnologías son y van a ser protagonistas dentro del pool de opciones al gestionar datos, pero que más que reemplazar los métodos y metodologías existentes, pueden llegar a complementarlos.

Ibelicet Calle Paz

student•

Más que cambiar una base de datos tradicional, lo que hacen es mejorar el sistema de Bases de Datos que se ve tradicionalmente en un sistema de Bases de Datos donde se almacena un gran volúmen de datos (Big Data).

Ambos son diferentes, puesto que:
Blockchain es el libro principal de database distribuido que registra la información en términos de bloques. Son un sistema sólido para el mantenimiento de registros sin la participación de una autoridad centralizada; y Hadoop, por otro lado, está diseñado para almacenar conjuntos de datos muy grandes de manera confiable y para transmitir esos conjuntos de datos a un ancho de banda alto.

Noel Alejandro

student•

De mi parte creo que ya han cambiado la esquematización de las bases de datos y el manejo de información. No quiero decir que los demás vayan a desaparecer puesto que hasta este momento no lo han hecho. Creo que simplemente cada uno se adecua dependiendo al tipo de proyecto que se intente realizar y viendo a futuro uno podrías convertirse en otro. Veamos el ejemplo de grandes empresa como google, facebook, youtube, etc., que comenzaron con poco y ahora están manejando grandes sistemas de información hora tras hora y buscan las forma, constantemente, de que el servicio sea más eficiente.

En mi caso veo a Hadoop como un buen manejo no sólo para grandes empresas sino también para pequeñas empresas que buscan soluciones rápidas y que evolucionan a pasos agigantados. Creo que es un pensamiento algo ambicioso pensar en en hadoop, pero para ello se necesita el analisis estratégico, mejoras de productos o servicios, etc. Creo que pensar Hadoop como herramienta no tiene tanto qué ver el tamaño de una empresa, sino más bien de la necessidad de grandes manejos de información lo cual se determina con base en la escalabilidad de la empresa y/o proyecto que se realiza.

Por su parte la tecnología blockchain bien podría, aunque ya lo es, algo potencialmente escalable. Veamos desde aquél año lejano de 2009 hasta nuestros días como ha crecido exponencialmente, a tal punto que grandes bancos y mercados de todo el mundo han apostado por ella, y esto hablando solamente para el manejo de las criptomonedas, que llegaron para quedarse, o aplicado a un entorno economico. Como lo encontré buscando por ahí blockchain: Permite el embalaje, la titulación y la mercantilización de cualquier conjunto de datos de información. Para romper limitaciones hace falta no tener ideas, lo cual es dudable entre miles de millones de personas en el mundo.

En fin, esto difiere mucho de la perspectiva de cada personas, pero como dije en un principio creo que todas y cada una de estas tecnologías son soluciones que podemos adaptar a nuestros problemas. La decisión radica en ¿qué es lo que quiero? ¿cómo lo quiero? ¿y hasta donde lo quiero?

No soy muy experto en estos temas y agradecería que me corrijan si me equivoco en alguna cosa. Saludos y buen curso. 😃

Yury D. Morales

student•

https://www.oroyfinanzas.com/2016/04/puede-blockchain-sustituir-100-bases-datos-tradicionales/

Basandome en este articulo y lo que he leido en los comentarios, la blockchain tiene un gran valor en sus ventajas pero sus desventajas como la rapidez y el concepto en si la frenan en ser la tecnologia disruptora por excelencia en el sector financiero.

En terminos simples, y en mi conclusion particular, es que estas tecnologias tanto Hadoop como Blockchain, aportan muchisimo valor, pero mientras no signifiquen una mejora en todos los sentidos frente a las tradicionales, sera dificil que las sustituyan. A menos que como decia elSharmaz, haya un tipo de frankeinsten que una lo mejor de los 3 mundos. Ojala sea alfguien de Platzi!

Miguel Andres Jurado Negrete

student•

Las bases de datos tradicionales van dirigidas a datos un tanto más pequeños con los que actualmente se trabajan. La tecnología evoluciona y ello repercute en la información existente pues va creciendo en paralelo con la misma. Para ello las BD tradicionales se quedan obsoletas pues el tipo de procesamiento no es el mismo al procesar mil millones de datos, (solo por decir un dato). Para ello se crearon mejores sistemas gestores. Teniendo en cuenta que es más barato ya que se necesitarán menos recursos que con las BD tradicionales. No por ello quiero dar a entender que deberíamos mejor trabajar con las nuevas estructuras, si no se requiere un procesamiento de tal magnitud una BD tradicional debería servir. No se si me equivoco, pero en mi poca experiencia es lo que puedo deducir a lo investigado.

Karla Verónica Álvarez Vázquez

student•

¿ Se puede crear un híbrido con las tecnologías Hadoop y Blockchain ?

Brian Castro

student•

Yo veo una posibilidad de cambio (o disrupción) en el inevitable crecimiento del blockchain. ¿A qué me refiero? Aquí se pueden apreciar las características del crecimiento del blockchain en cryptocurrency. **Hadoop ** puede ser una gran herramienta en el análisis de, por ejemplo, el comportamiento/tendencias de las transacciones y encontrar relaciones entre su comportamiento con distintas finalidades, quizá detectando patrones difíciles de percibir a simple vista. Lo interesante aquí sería la información adicional que puede proveer el análisis del ledger de transacciones. Definitivamente ambas tecnologías comparten la característica de ser distribuidas. Si tomamos la idea de que esta información decentralizada se podría hacer tan grande al punto de ser insostenible, podría ser que Hadoop permita la administración de ledgers de cantidades de datos masivas, así como las esperadas con la implementación de tecnologías como IoT. Esto requeriría que el blockchain efectivamente se haya acoplado en la infraestructura moderna en el futuro cercano y deje de ser una tecnología de “nicho”.

Neddy Etman Choque Flores

student•

Blockchain y hadoop esta de moda y podrian junto con el internet de las cosas ser el nuevo paradigma en base de datos. para que esto suceda la confianza será un elemento internacional.

Fernando David Soto Betin

student•

Estos Framework de bases de datos, surgen por el crecimiento del entorno tecnológico e inmediatez para resolver y obtener información para ser analizado por el mercado masivo, para así agilizar transacciones de cualquier índole desde cualquier parte del mundo en un tiempo sumamente veloz.
Las bases de datos traicionarles perduraran, porque no todas las personas, empresas utilizan un sistema de análisis de datos, seguramente surgirán funcionalidades a estas bases de datos por la misma necesidad del merco progresivo que día a día es volátil.

Edwin Torres

student•

Eso es de lo que más me gusta de esto, adaptación a las nuevas necesidades de la industria.

Reto ¿Hadoop y Blockchain podrían cambiar una Base de Datos tradicional?

Introducción al Curso Fundamentos de Bases de Datos

¡Vamos a renovar este curso!

Introducción al Curso de Bases de Datos

Teoría general de Bases de Datos

Propósito general de las Bases de Datos

Tipos de Bases de Datos y sus aplicaciones en la industria

Visión general de los datos

Tipos de Datos

Diferentes tipos de Bases de Datos

Reto ¿Hadoop y Blockchain podrían cambiar una Base de Datos tradicional?

Bases de Datos Relacionales

¿Qué es una Entidad?

¿Qué es una Relación?

Características o datos de una Entidad

¿Ya aparecieron las llaves?

Índices e Indexación

Constraints o Restricciones

Capas de abstracción del modelo Entidad-Relación

Metodología básica de 9 pasos con Barker (Paso 1) Identificar Cuáles son las Entidades Resuelven Nuestro Problema

Metodología básica de 9 pasos con Barker (Paso 2): Identificación de las Relaciones de las Entidades.

Metodología básica de 9 pasos con Barker (Paso 3): Entidades y Relaciones

Metodología de Diseño (Correcciónes del paso 2 y 3)

Metodología de Diseño (Paso 4): Asignar Atributos a las Entidades.

Metodología de Diseño (Solución del paso 4): Terminando de Asignar Atributos a las Entidades

Metodología de Diseño (Pasos 5, 6 y 7) 5. Generar un diagrama conceptual, 6. Modelo lógico, 7. Identificar nuevos atributos que generan nuestras entidades débiles.

Metodología de Diseño (Paso 8): Construir el Diagrama del Modelo Físico

Metodología de Diseño (Paso 9): Pasar al estándar de la base de datos (SQL)

Reto con el paso 4 de la Metodología de Diseño

Bases de Datos NO Relacionales y Otros tipos de Bases de Datos

Atomicidad y consistencia

Aislamiento y durabilidad

Bases de Datos In-Memory (Cambio de árboles a columnar)

Otros tipos de Bases de Datos en la industria

Bases de Datos In-Memory con indexación de columnar

Definiendo el Proyecto y Generando Entidades de PlatziStore: Pasos 1 y 2

Definir la Estructura de la Tabla Cliente del Proyecto: Pasos 3 y 4

Terminando de Estructurar Nuestras Tablas (Continuación del paso 4)

Metodología de Diseño (Paso 5): Diagrama Conceptual

Metodología de Diseño (Paso 6 y 7): Modelo Lógico y Entidades Débiles

Solución de atributos de entidad del proyecto - Atributos adicionales a entidad débil creada

Metodología de Diseño (Paso 8)

Llevando nuestro proyecto a SQL (Paso 9)

Terminando la Implementación del Proyecto (Paso 9)

Dependencias funcionales

Normalización, llevando el proyecto hasta tercera forma normal (primera forma normal)

Normalización, llevando mi proyecto hasta tercera forma normal (segunda forma normal)

Normalización, llevando mi proyecto hasta tercera forma normal (Cuarta y quinta forma normal)

Comenzando con SQL

DDL: Data Definition Language y DML: Data Manipulation Language

ACID desde lo no relacional

CAP

Scale Out y Scale Up

¿Scale out o Scale up?

DBMS en nube para poder iniciar una aplicación propia

IMPORTANTE: Preparación del entorno de trabajo

Estructura básica de un Query

Aprendiendo a Hacer más Querys

Estructura básica del Query con más de una tabla

Estructura básica del Query con más de una tabla 2

Tuplas y más tuplas

Insertar registros

Joins

Noo SQL Aplicado, Planteando el Problema

Aplicando NoSQL: Colecciones y Shards

Aplicando noSQL: Integración de Comunicaciones y Hardware en una Base de Datos Scale OUT

Aplicando noSQL: Integrando JSON a Bases de Datos No Relacionales

Conclusiones del curso