Arquitectura de Clústeres en Databricks: Procesamiento y Almacenamiento

Infraestructura de almacenamiento y procesamiento en Databricks

Arquitectura centralizada de datos

• Tendremos un único nodo central que se encargará de procesar un archivo gigantesco de datos en su totalidad
• En este tipo de arquitectura que se sigue utilizando presenta varios problemas…
  • Se necesita mucho tiempo de procesamiento
  • Tenemos un único punto de falla
  • Es complicada la escalabilidad de recursos

Arquitectura descentralizada de datos

• Tendremos, igualmente,un archivo gigantesco de datos que estará dividido en particiones.
• Cada partición será procesada por varios nodos esclavos o slave.
• Habrá un nodo Maestro que tiene la función de orquestar todo el trabajo hacia los esclavos en función del conjunto de datos
• El conjunto de nodo master y todos los slaves se conocen como CLUSTER.
• En este tipo de arquitectura trabajamos de manera distribuida, tendremos un conjunto de nodos conectados en red.
• El procesamiento de datos es mucho más eficiente y el tiempo es más corto
• No existe el problema de un único punto de falla ya que si un nodo falla, se transfiere la carga de trabajo de ese nodo a otro.
• BONUS: 👀 Así es como funciona Redshift

Beneficios de utilizar una arquitectura distribuida de cluster

• Paralelismo y mayor rendimiento
• Escalabilidad en la solución
• Tolerancia a fallos
• Mejor manejo de grandes volúmenes de datos
• Flexibilidad y adaptabilidad

Infraestructura de almacenamiento y procesamiento de datos

• Toda arquitectura distribuida en cluster tiene dos capas
• Capa de almacenamiento ~ Disco (Almacenamiento persistente)
• Capa de procesamiento ~ RAM y CPU
• En cualquier nodo habrá Disco RAM y CPU.
• Tendremos que saber jugar con las características de nuestro nodos para poder determinar el sizing adecuado de nuestro cluster, es decir, el almacenamiento y procesamiento que mejor necesitaremos.
• Debemos tener en cuenta el volumen de datos que trabajemos y la cantidad de personas que trabajan de forma simultánea en el cluster.
• Importante: En Databricks, tenemos una capa de almacenamiento que viene integrada directamente con la solución llamada DBFS (Databricks File System) la cual nos permite almacenar nuestros datos directamente en Databricks.

¡Hola a Todos! Quiero resaltar la dinámica de esta clase en particular, si bien las diapositivas estáticas son útiles para la explicación, esta parte de explicar con un video, me parece muchísimo más didáctica, permite no solo captar la atención sino también mantenerla, y creo que da un punto adicional a la explicación de la profesora (que de por sí es muy buena). Estas mejoras en Platzi me encantan, sigan asi :)

como empleado de Databricks me parece muy interesante el enfoque utilizado para explicar estos recursos (si, yo lo fui entendiendo una vez adentro y llevando palo jaja). Para completementar la explicacion, seguramente adelantandome a las siguientes clases, como se comentaba al inicio Databricks basa su arquitectura en Apache Spark. Equiparando con el modelo Master-Slaves, en Spark seria conocido como nuestro Driver (Master) y Workers o Executors (Slaves). Como se comento, en efecto cada uno tiene su Disco, RAM y CPU. Por lo tanto si lo piensan bien al final cada uno es una VM en el cloud correspondiente (AWS,Azure o Google) que se puede trackear con su respectivo instance ID/IP, esta informacion viene dada en el cluster UI

Puede sonar minúsculo pero es importante entender el peso de las palabras, términos como 'master', 'blacklist', 'slave' deberian quedar en el pasado, entiendo que no es decisión de la docente sino de Databricks pero cada día deberíamos desligarnos de estos términos GitHub ya lo hizo pasando su rama principal de Master a Main. De resto muy buena la explicación :D

Escencia de Kubernetes en pocas palabras.

Resumen: ■■■■■ Databricks integra herramientas open source avanzadas con servicios comerciales para crear una plataforma robusta que aborda las necesidades de análisis de datos, machine learning y gobernanza. En esencia se vale de una infraestructura de cómputo distribuido donde maestros tienen nodos esclavos. En este ecosistema se intengra tecnologías como: * **Spark**: Framework líder en procesamiento distribuido, ideal para manejar grandes volúmenes de datos de manera eficiente y rápida. * **Unity Catalog**: Un sistema centralizado para la gobernanza de datos, que permite gestionar permisos, auditorías y metadatos de forma segura y organizada. * **MLflow**: Solución integral para gestionar el ciclo de vida del machine learning, desde el rastreo de experimentos hasta el despliegue y la monitorización de modelos. * **Delta Lake**: Motor de almacenamiento transaccional que mejora la confiabilidad y el rendimiento, asegurando integridad ACID en los datos estructurados y semiestructurados. * **PyTorch**: Framework versátil y ampliamente utilizado para desarrollar y entrenar modelos de aprendizaje profundo, respaldado por una amplia comunidad.

Diseños visuales muy adecuados y claros que hacen un perfecto match con la explicación de la profe, me encanto 💚

* Arquitectura centralizada de datos * Archivo de datos muy grande * Único nodo central * Problemas: * Mucho tiempo de procesamiento * Baja confiabilidad (único punto de falla, no hay respaldo) * Complicada la escalabilidad de recursos * Arquitectura descentralizada de datos (Cluster - Maestro/Esclavo) * Archivo de datos muy grande * Particiones * Slaves o Nodos (se reparten las particiones) * Nodo Master (orquesta y coordina los Slaves) * Beneficios: * Paralelismo y mayor rendimiento * Escalabilidad en la solución * Tolerancia a fallos * Mejor manejo de grandes volúmenes de datos * Flexibilidad y adapatabilidad * Infraestructura de almacenamiento y procesamiento de datos * Capa de almacenamiento - Disco * Capa de procesamiento - RAM & CPU * Cada nodo tendrá Disco + RAM + CPU (determinar el tamaño adecuado) * Importante conocer el volumen de datos y cantidad de personas trabajando sobre el cluster * DBFS: Capa de almacenamiento integrada en databricks

La capacidad de almacenamiento de Databricks depende de la configuración del clúster y del tipo de almacenamiento que utilices. Databricks utiliza el Databricks File System (DBFS), que permite almacenar archivos en un sistema de archivos distribuido. Puedes almacenar datos en forma de archivos, objetos o en formatos como Parquet y Delta, optimizados para el manejo de grandes volúmenes de datos. Esto proporciona flexibilidad y escalabilidad en el almacenamiento de datos.

### **Infraestructura de almacenamiento y procesamiento en Databricks** Databricks es una plataforma basada en la nube que proporciona un entorno unificado para análisis de datos, ciencia de datos, Machine Learning (ML) y procesamiento en tiempo real. La infraestructura en Databricks se basa en el almacenamiento y procesamiento distribuidos utilizando tecnología como Apache Spark. ### **Infraestructura de almacenamiento en Databricks** 1. **Almacenamiento en Databricks**: * Databricks utiliza diferentes servicios de almacenamiento integrados para manejar datos, como: * **Databricks File System (DBFS)**: Un sistema de archivos distribuido basado en la nube que permite a los usuarios almacenar, leer y escribir archivos en el entorno de Databricks. Es una capa de almacenamiento temporal y persistente para el trabajo en notebooks. * **Amazon S3**: Integración con sistemas de almacenamiento en la nube como S3 para el manejo de datos a gran escala. Databricks permite trabajar directamente con archivos alojados en S3, facilitando la ingestión y procesamiento de datos. * **Azure Blob Storage**: Similar a S3, proporciona almacenamiento de objetos en Azure. * **Google Cloud Storage**: Integración con el almacenamiento en la nube de Google para el manejo de grandes volúmenes de datos. 2. **Tipos de Datos**: * Datos estructurados (tablas, CSV, JSON). * Datos semi-estructurados (archivos Avro, Parquet, ORC). * Datos no estructurados (imágenes, videos, logs). ### **Infraestructura de procesamiento en Databricks** 1. **Apache Spark**: * Databricks está construido sobre Apache Spark, que permite el procesamiento distribuido en paralelo. Esto permite ejecutar tareas intensivas en recursos como procesamiento de datos masivos, Machine Learning y análisis en tiempo real. * Las capacidades de procesamiento incluyen: * **Transformaciones masivas de datos**: Operaciones como filtrado, agrupación, unión, sumas parciales, etc. * **Modelos de Machine Learning**: Entrenamiento de modelos en paralelo utilizando Spark MLlib. * **Procesamiento de Streams**: Procesamiento de datos en tiempo real utilizando Spark Streaming. 2. **Niveles de procesamiento**: * **Computación general**: Un entorno para tareas analíticas estándar y procesamiento de datos. * **Clusters optimizados**: Clusters con configuraciones específicas para Machine Learning (GPU, CPU optimizados), procesamiento de datos a gran escala y rendimiento máximo. 3. **Tareas Distribuidas**: * En Databricks, las tareas se dividen en múltiples trabajos y ejecutan operaciones de manera simultánea en distintos nodos, reduciendo tiempos de procesamiento. ### **Capa de Gestión y Orquestación** * Databricks proporciona una orquestación integrada para la gestión de flujos de trabajo y pipelines de datos. * Soporte para tareas agendadas y automatización de tareas a través de Apache Airflow o Delta Live Tables para flujos de datos en tiempo real. ### **Seguridad y Escalabilidad** * **Seguridad**: Databricks ofrece integración con servicios de seguridad en la nube como IAM (Identity and Access Management), SSO (Single Sign-On), y encriptación de datos en tránsito y reposo. * **Escalabilidad**: Los clústeres en Databricks pueden escalar horizontalmente o verticalmente según las necesidades de procesamiento y almacenamiento. ### **Beneficios de la Infraestructura en Databricks** * Escalabilidad masiva. * Procesamiento distribuido optimizado. * Integración con servicios de almacenamiento en nube líderes. * Seguridad y gobernanza avanzada.