Recolección de datos con ChatGPT como asistente

Yo utilicé chatgpt para generar un código de WebScrapping que me permitiera obtener el contenido de las etiquetas div una página y almacenar su contenido en una lista, todo esto usando la librería Selenium y Xpath para hacer la búsqueda de elementos.

from selenium import webdriver
from selenium.webdriver.common.by import By

# Inicializar el controlador de Selenium
driver = webdriver.Chrome()

# URL a consultar
url = "https://www.ejemplo.com"

# Abrir la URL en el navegador controlado por Selenium
driver.get(url)

# Utilizar XPath para encontrar todas las etiquetas div en la página
etiquetas_div = driver.find_elements(By.XPATH, "//div")

# Crear una lista para almacenar el contenido de las etiquetas div
contenido_etiquetas = []

# Almacenar el contenido de las etiquetas div en la lista
for etiqueta_div in etiquetas_div:
    contenido_etiquetas.append(etiqueta_div.text)

# Imprimir el contenido almacenado en la lista
for contenido in contenido_etiquetas:
    print(contenido)

# Cerrar el navegador controlado por Selenium
driver.quit()

6. Recolección de datos con ChatGPT como asistente

• Recolecta datos de APIs, bases de datos y distintos repositorios

La recolección de datos mediante web scraping representa una valiosa herramienta para extraer información de sitios web en línea. Sin embargo, permíteme subrayar la importancia de realizar el web scraping de forma ética, en total concordancia con los términos de servicio de los sitios que planeas analizar. Aquí te ofrezco una guía básica sobre cómo puedes desarrollar un scraper para la recopilación de datos:

Paso 1: Comprender la anatomía del sitio web:

• Antes de lanzarte a la acción, adéntrate en el sitio web que planeas raspar. Aprehende su estructura, el diseño de sus páginas, las URLs de las que deseas extraer datos y cómo se articula la información.

Paso 2: Escoge una biblioteca o herramienta para web scraping:

• Existen diversas bibliotecas y herramientas disponibles en diversos lenguajes de programación para llevar a cabo el web scraping, como BeautifulSoup (Python), Scrapy (Python), Selenium (Python), Puppeteer (JavaScript) y otras. Selecciona la que mejor se adapte a tus necesidades y habilidades.

Paso 3: Prepara tu entorno de desarrollo:

• Configura tu entorno de desarrollo con la biblioteca o herramienta de web scraping que hayas elegido. Asegúrate de que todo esté debidamente instalado y listo para la acción.

Paso 4: Escribe el código de scraping:

• Diseña un script que acceda al sitio web y extraiga la información que necesitas. Esto involucra realizar solicitudes HTTP, analizar el HTML de las páginas y extraer datos concretos, como texto, imágenes o enlaces.

Paso 5: Lidiar con la paginación:

• Si la información que deseas se encuentra dispersa en varias páginas, tendrás que implementar la lógica para navegar a través de ellas y extraer datos de todas las fuentes.

Paso 6: Almacenar los datos:

• Decide dónde prefieres guardar los datos que recolectes. Esto puede ser en archivos locales, una base de datos o almacenamiento en la nube, en función de tus necesidades.

Paso 7: Manejar excepciones y errores:

• Incorpora en tu código la capacidad de gestionar errores y excepciones para lidiar con situaciones inesperadas, como fallos en la conexión a Internet o modificaciones en la estructura del sitio web.

Paso 8: Cumplir con los términos de servicio:

• Asegúrate de cumplir escrupulosamente con los términos de servicio del sitio web que planeas raspar. Algunos sitios pueden establecer restricciones o prohibiciones relacionadas con la recolección automatizada de datos.

Paso 9: Ejecuta el scraper:

• Inicia la ejecución de tu scraper y comienza a recopilar datos. Asegúrate de que funcione de acuerdo a tus expectativas y que los datos se almacenen de forma adecuada.

Paso 10: Monitoriza y actualiza:

• Lleva un seguimiento constante del funcionamiento de tu scraper. Los sitios web pueden evolucionar con el tiempo, por lo que resulta esencial mantener tu scraper al día y adaptarlo a los cambios, si fuera necesario.

Recuerda que el web scraping debe realizarse de manera ética y legal. No lo emplees para obtener información sensible ni para infringir derechos de autor. En todo momento, respeta la propiedad intelectual y los términos de servicio de los sitios que vayas a raspar. Algunas veces ¡Podría ser un delito!, cuidado ¡Adelante, explorador de la web!

https://chat.openai.com/share/741c65d1-d6fb-4d0a-9a03-9958dd3950ed

import tkinter as tk
from tkinter import ttk
from tkinter import messagebox
import requests
from bs4 import BeautifulSoup
import pandas as pd

# Función para realizar el web scraping
def realizar_web_scraping():
    url = "https://www.agronegocios.co/agricultura"
    response = requests.get(url)

    if response.status_code == 200:
        soup = BeautifulSoup(response.text, "html.parser")
        noticias = soup.find_all("a", class_="title-kicker")

        titulos = []
        enlaces = []

        for noticia in noticias:
            titulo = noticia.find("h3").text.strip()
            enlace = "https://www.agronegocios.co" + noticia.get("href")
            titulos.append(titulo)
            enlaces.append(enlace)

        df = pd.DataFrame({"Título": titulos, "Enlace": enlaces})

        messagebox.showinfo("Web Scraping Completo", "Se ha completado el web scraping.")
        mostrar_resultados(df)
    else:
        messagebox.showerror("Error", "No se pudo obtener el contenido de la página.")

# Función para mostrar los resultados en una ventana secundaria
def mostrar_resultados(dataframe):
    resultados_window = tk.Toplevel(root)
    resultados_window.title("Resultados del Web Scraping")

    tree = ttk.Treeview(resultados_window, columns=("Título", "Enlace"), show="headings")
    tree.heading("Título", text="Título")
    tree.heading("Enlace", text="Enlace")

    for index, row in dataframe.iterrows():
        tree.insert("", "end", values=(row["Título"], row["Enlace"]))

    tree.pack()

# Crear la ventana principal
root = tk.Tk()
root.title("Web Scraping de AGRONEGOCIOS")

# Botón para realizar el web scraping
scrape_button = tk.Button(root, text="Realizar Web Scraping", command=realizar_web_scraping)
scrape_button.pack(pady=10)

root.mainloop()

Intenté replicar esto desde la misma web, el código generado me salió igual que en esta clase pero el dataframe sale vacío. En los recursos de la clase descargué el archivo ‘data_gathering_all.ipynb’ y veo que la diferencia es que este tiene una función llamada ‘get_techcrunch_news()’ mientras que ChatGPT (tanto en la clase como en lo que repliqué) genera esta lógica solo en un ciclo ‘For’

Esta clase ha sido genial 🚀🔥📝💚

Disminución en el precio de la madera con la que haces los muebles que vendes Utilidad Bruta
Aumento en los sueldos de los empleados Utilidad Operativa
Aumento en la renta de las oficinas Utilidad Operativa
Aumento en el margen de contribución Utilidad Bruta
Disminución de ventas Utilidad Bruta
Contratación de nuevos operadores en la fábrica Utilidad Operativa
Aumento en el presupuesto de gasto de mercadotécnia Utilidad Operativa
Compra de papelería y elementos de oficina Utilidad Operativa
Aumento en el costo de bienes vendidos Utilidad Bruta
Disminución de los gastos administrativos Utilidad Operativa

Wow lo que estaba esperando y necesitando. Muy bien Carlos eres un crack Gracias