Cargar HTML y Directorio con LangChain

Alguien dijo Web Scraping😏 By the way, recomiendo ampliamente el curso de 'LangChain para Manejo y Recuperación de Documentos', gran curso👌

Una de las funcionalidades clave de LangChain es la capacidad de cargar y procesar diversos tipos de datos, incluyendo documentos HTML y directorios completos. Esto permite crear aplicaciones de IA que pueden comprender y responder a una amplia variedad de información. ### Cargando Archivos HTML LangChain ofrece varias opciones para cargar archivos HTML, cada una con sus propias características y ventajas: * **UnstructuredHTMLLoader:** Esta clase utiliza la biblioteca Unstructured para extraer texto de archivos HTML. Es una opción sencilla y efectiva para muchos casos de uso. Python`from langchain.document_loaders import` UnstructuredHTMLLoader `loader = UnstructuredHTMLLoader("example_data/fake-content.html"`) `data = loader.load()   ` Usa el código [con precaución](/faq#coding). * **BSHTMLLoader:** Utiliza BeautifulSoup4 para parsear el HTML y extraer el texto. Permite un mayor control sobre el proceso de extracción. Python`from langchain.document_loaders import` BSHTMLLoader `loader = BSHTMLLoader("example_data/fake-content.html"`) `data = loader.load()   ` Usa el código [con precaución](/faq#coding). * **SpiderLoader:** Esta clase utiliza la API de Spider para cargar páginas web completas y convertirlas en texto, markdown, o HTML. Es útil para cargar grandes cantidades de datos de la web. Python`from langchain_community.document_loaders import` SpiderLoader `loader = SpiderLoader(api_key="YOUR_API_KEY", url="https://spider.cloud")   ` data = loader.load() Usa el código [con precaución](/faq#coding). ### Cargando Directorios Completos Para cargar todos los archivos de un directorio, LangChain proporciona el cargador `DirectoryLoader`. Puedes especificar patrones para filtrar los archivos que deseas cargar. Python`from langchain.document_loaders import` DirectoryLoader `loader = DirectoryLoader("my_documents", glob="*.pdf") # Cargar todos los PDF` data = loader.load() Usa el código [con precaución](/faq#coding). ### Procesamiento Posterior de los Datos Una vez que has cargado los documentos, puedes realizar diversas operaciones, como: * **Crear un índice:** Para realizar búsquedas rápidas dentro de los documentos. * **Entrenar un modelo de lenguaje:** Para crear un modelo que pueda responder preguntas sobre los datos. * **Generar texto:** Para crear resúmenes, traducciones o nuevas piezas de contenido basadas en los documentos. Python`from langchain.vectorstores import` FAISS `# Crear un índice` vectorstore = FAISS.from\_documents(data) `# Realizar una búsqueda` `query = "Cuál es la capital de Francia?"` docs = vectorstore.similarity\_search(query) Usa el código [con precaución](/faq#coding). ### Consideraciones Adicionales * **Estructura de los documentos HTML:** La complejidad de la estructura HTML puede afectar la calidad de la extracción de texto. * **Limpieza de datos:** Es posible que necesites realizar una limpieza adicional de los datos extraídos, como eliminar etiquetas HTML o normalizar el texto. * **Rendimiento:** Para grandes cantidades de datos, considera utilizar técnicas de procesamiento paralelo o distribuido. ### Ejemplos de Uso * **Chatbots:** Crear un chatbot que pueda responder preguntas sobre un sitio web completo. * **Sistemas de búsqueda:** Desarrollar un motor de búsqueda personalizado sobre una colección de documentos. * **Análisis de sentimientos:** Analizar la opinión de los usuarios a partir de comentarios en páginas web. ### Conclusión LangChain ofrece una forma sencilla y flexible de cargar y procesar documentos HTML y directorios completos. Al combinar estas capacidades con los modelos de lenguaje de gran tamaño, puedes crear aplicaciones de IA potentes y personalizadas. **¿Tienes alguna pregunta específica sobre la carga de HTML y directorios con LangChain?** Por ejemplo, podemos explorar: * **Cómo manejar diferentes formatos de archivos:** PDF, DOCX, etc. * **Cómo personalizar la extracción de texto:** Utilizando expresiones regulares o XPath. * **Cómo optimizar el rendimiento para grandes conjuntos de datos.**

from langchain.document\_loaders import PyPDFLoader

Para cargar un archivo HTML en Google Colab, debes seguir estos pasos: 1. **Guardar el archivo en Google Drive**: Crea una carpeta en tu Google Drive y sube el archivo HTML allí. 2. **Conectar Google Colab a Google Drive**: Usa el siguiente código en una celda de Colab para montar tu Google Drive: ```python from google.colab import drive drive.mount('/content/drive') ``` 3. **Acceder al archivo**: Después de montar, puedes acceder a tu archivo HTML usando la ruta correspondiente, por ejemplo: ```python file_path = '/content/drive/My Drive/tu_carpeta/tu_archivo.html' ``` Luego, puedes utilizar el cargador de HTML en LangChain para procesarlo.

Para cargar un sitio web externo en LangChain utilizando una URI, puedes utilizar `requests` para obtener el contenido HTML y luego procesarlo con `Beautiful Soup`. Aquí tienes un ejemplo básico: ```python import requests from bs4 import BeautifulSoup from langchain.document_loaders import BeautifulSoupLoader # Cargar HTML desde una URI url = "https://ejemplo.com" response = requests.get(url) soup = BeautifulSoup(response.content, 'html.parser') # Crear un documento con Beautiful Soup loader = BeautifulSoupLoader(soup.prettify()) document = loader.load() print(document) ``` Asegúrate de tener instaladas las librerías necesarias y ajustar el código según tus necesidades.

Reto completado en base a la ruta de cada archivo se usa un loader o otro ```js from langchain_community.document_loaders import DirectoryLoader !pid install langchain_community !pip install unstructured !pip install unstructured[pdf] !pip install unstructured[docx] !pip install unstructured[excel] from langchain.document_loaders import PyPDFLoader, CSVLoader, BSHTMLLoader, TextLoader import os # Directorio que contiene los archivos directory_path = "/content/documents" files = [os.path.join(directory_path, f) for f in os.listdir(directory_path)] for file_path in files: if file_path.endswith(".pdf"): print(f"Procesando PDF: {file_path}") loader = PyPDFLoader(file_path) docs = loader.load() for doc in docs: print(f"Contenido (primeros 100 caracteres): {doc.page_content[:100]}...\n") elif file_path.endswith(".csv"): print(f"Procesando CSV: {file_path}") loader = CSVLoader(file_path=file_path) data = loader.load() for record in data[:4]: print(record) elif file_path.endswith(".html"): print(f"Procesando HTML: {file_path}") loader = BSHTMLLoader(file_path) data = loader.load() for doc in data: print(f"Contenido (primeros 100 caracteres): {doc.page_content[:100]}...\n") elif file_path.endswith(".md"): print(f"Procesando Markdown: {file_path}") loader = TextLoader(file_path) docs = loader.load() for doc in docs: print(f"Contenido (primeros 100 caracteres): {doc.page_content[:100]}...\n") else: print(f"Archivo no soportado: {file_path}") ```