Lectura de Datos en Apache Spark con Databricks

Clase 11 de 25 • Curso de Databricks: Arquitectura Delta Lake

Resumen

¿Cómo leer diferentes formatos de datos con Apache Spark?

Apache Spark se ha convertido en una herramienta esencial para el manejo eficiente de grandes volúmenes de datos, gracias a su habilidad para leer y manipular distintos formatos de archivos. Este artículo explora cómo utilizar Spark dentro de la plataforma Databricks para manejar formatos comunes como CSV, .data y JSON, ofreciendo una guía paso a paso sobre cómo replicar este proceso y aprovechar las capacidades integradas de Spark.

¿Qué necesitas para empezar en Databricks?

Primero, asegúrate de tener acceso a la plataforma Databricks y dirígete a la sección de Workspace. Aquí, podrás importar el notebook necesario para esta clase, denominado "lectura de datos".

Importación del notebook: Arrastra el archivo "lectura de datos" a la interfaz de importación de Databricks y espera a que se cargue completamente. Este paso es esencial para seguir con las prácticas adecuadas para el manejo de datos en Databricks.
Conexión al clúster: Antes de comenzar con la lectura de datos, conecta tu clúster. Esto asegura que el procesamiento de datos se realice sin problemas.

¿Cómo leer archivos CSV con Spark?

Los archivos CSV son uno de los formatos más utilizados para el intercambio de datos. A continuación, se detalla cómo leer este tipo de archivos utilizando Apache Spark.

// Configuración básica para leer un archivo CSV
val summary = spark.read
  .option("header", "true")
  .csv("dbfs:/FileStore/curso Databricks/2015-summary.csv")

// Mostrar los primeros 10 registros
summary.show(10)

// Obtener el esquema de metadatos del archivo
summary.printSchema()

Configuración de la ruta: Es vital especificar correctamente la ruta dentro del Databricks File System.
Encabezado y esquema: Es importante establecer que los datos tienen un encabezado y permitir que Spark infiera el esquema.

¿Cómo manejar archivos `.data`?

Los archivos .data son otra forma común de contener datos, a menudo utilizados en combinación con delimitadores específicos.

// Configuración para un archivo con delimitador personalizado
val personaData = spark.read
  .option("header", "true")
  .option("delimiter", "|")
  .option("encoding", "ISO-8859-1")
  .csv("dbfs:/FileStore/curso Databricks/persona.data")

// Mostrar los primeros 10 registros
personaData.show(10)

// Imprimir el esquema
personaData.printSchema()

Delimitador y encoding: Ajustar el delimitador (substituyendo comas por, por ejemplo, un palote |) y usar un metodo de encoding como "ISO-8859-1" es crucial.

¿Cómo se leen archivos JSON en Spark?

Los JSON son archivos semiestructurados más complejos pero igualmente manejables con Spark debido a sus capacidades de análisis de estructuras de datos en capas.

// Lectura de un archivo JSON multilínea
val transaccionesDF = spark.read
  .format("json")
  .option("multiline", "true")
  .load("dbfs:/FileStore/curso Databricks/transacciones.json")

// Mostrar los primeros 10 registros sin truncar
transaccionesDF.show(10, false)

// Imprimir el esquema
transaccionesDF.printSchema()

Archivos multilínea: Dados los JSONs que normalmente contienen listas dentro de listas, es recomendable indicar esto en las opciones de lectura.

¿Por qué es importante el conocimiento de otros formatos de archivos?

Aunque este artículo aborda principalmente CSV, .data y JSON, Spark también ofrece soporte para otros formatos como Parquet y Avro. Estos ofrecen ventajas adicionales en términos de compresión y almacenamiento eficiente de datos masivos. Familiarizarse con estos formatos amplía las capacidades de análisis y optimización en proyectos de Big Data.

Para concluir, seguimos motivando a los estudiantes y profesionales a experimentar con estos procesos en su entorno Databricks. El uso práctico de estos conceptos consolida el aprendizaje y fortalece sus habilidades para manejar grandes volúmenes de datos.

Recuerda que los notebooks de recursos están a tu disposición para practicar e implementar esto personalmente. ¡Continúa explorando las posibilidades que Databricks y Apache Spark te ofrecen!