Tokenización y Vocabulario en TorchText para DBpedia
Contenido del curso
Ramsés Alejandro Camas Nájera
Luis Bardalez Garcia
Esteban David Ortiz Barajas
Sebastián Franco
Luis Camilo Jimenez Alvarez
guillermo sainz zarate
Diego Ferrua Huivin
Jhon Stiven Orjuela Naranjo
Tomas Sanchez
JUAN PABLO ALVARADO VALLEJO
Tomas Sanchez
Juan Acevedo
Bryan Castano
Jeison Wu Mitre
Gabriel Ichcanziho Pérez Landa
Jeison Wu Mitre
Gabriel Ichcanziho Pérez Landa
Mario Alexander Vargas Celis
Leo Díaz
Esteban David Ortiz Barajas
Jorge Lara
Diego Alejandro Lesmes
Como se actualizó el dataset de DBpedia, puede crear un archivo de Python y copiar el source code del dataset
Mi script lo llamé dbpedia.py y lo importo de la siguiente manera
from`` dbpedia ``import`` DBpedia
Únicamente elimine [docs
de [docs]@_create_dataset_directory(``dataset_name``=DATASET_NAME)
Y el url lo cambié por
URL = "https://drive.usercontent.google.com/download?id=0Bz8a_Dbh9QhbQ2Vic1kxMmZZQ1k&export=download&authuser=0"
Espero les sirva para seguir el curso
Funciona bien, en mi caso puse la declaración de la clase DBpedia en una celda, la ejecute con los cambios que recomiendas y el resto funcionó OK
Si tienen algún problema con esta solución, intenten bajar la versión de Python y/o torchtext a la que se utiliza en el video.
Con la 3.9.7 de Python y la 0.15.1 de torchtext me funcionó a mi finalmente.
Tuve la duda de cómo funcionaba el tokenizer + vocabulario y traigo mis conclusiones.
El tokenizer simplemente separa las palabras en tokens, y el algoritmo que usemos (en este caso basic_english) determinará qué caracteres tokenizará y que limpiezas y convenciones llevará a cabo (agregar espacios a las puntuaciones, transformar los saltos de linea en espacios sencillos y demás limpiezas) y retornará un array gigante con los cada palabra tokenizada.
El vocab (o vocabulario) por otra parte es especial. El proceso para determinar qué valor numérico pertenece a cada token es directamente proporcional a su frecuencia de aparición. Entre más aparezca un token en un dataset (también llamado text corpus) menor valor tendrá, por eso los conectores suelen tener valores tan bajos.
La razón por la que debemos agregar el <unk> en el vocab es porque únicamente hemos creado los valores de los tokens disponibles en el text corpus, por lo que, si en alguna inferencia usamos texto que no contiene un token válido, debemos tener un mecanismo para encapsularlo.
si tienen el error
ImportError: cannot import name ‘DILL_AVAILABLE’ from ‘torch.utils.data.datapipes.utils.common’
Utilicen
torch.utils.data.datapipes.utils.common.DILL_AVAILABLE = torch.utils._import_utils.dill_available()
antes de
train_iter = iter(DBpedia(split='train'))
Ver el enlace
Excelente amigo, gracias!!
Se actualizo la libreria no funciona, me pide los datos de train pero no encuentro la forma de solucionarlo :C
Gracias crack!
No he logrado hacer que funcione el Script de Colab, me indica que ha diferencia de version entre torch y torchtext. De hecho éste ultimo aparece como "depricated".... hay algun nuevo Script?
Yo lo he logrado con estas versiones:
!pip install torch==2.2.2 !pip install torchtext==0.17.2 !pip install torchdata==0.7.1 !pip install portalocker>=2.0.0
Gracias Juan Pablo, logre avanzar un poco, pero al momento de tokenizar me empezo a dar errores...."vocab = build_vocab_from_iterator(yield_tokens(train_iter), specials=["<unk>"])...
Estuve horas y horas en está clase porque como saben lass librerías se actualizan , así mismo deberían actualizarse los cursos para evitar esos problemas , pero básicamente hay varios problemas al intentar ejecutar eso hoy en día, y es que las versiones en la clase son ya antiguas , para que podamos cargar el torchtext y los datos estos tienen que estar alineados con las versiones
Ejemplo mío utilizado , descargar las versiones compatibles entre si
!pip install torch==2.2.0 torchtext==0.17.2 torchdata==0.7.1 portalocker>=2.0.0
Importante reiniciar la sesión en el google colab para que lo cargue
De esa manera puedo usar torchtext con la version compatible a mi version de torch y también el torch data que es importante para poder cargar los datos cuando las versiones están por encima de la 0.17 , de esa manera ya pueden seguir exactamente los pasos una vez puedan hacer eso
También otro punto es que torch text muchos de los datasets son bajados de google drive lo cual a veces las urls cambian por lo que recomendaría probar con otros dataset no con el de la clase
Mi caso
from torchtext.datasets import AG_NEWS
otro dataset que pude usar con facilidad para continuar con el proyecto
Hola @Juan Tienes razon, torch text datasets han cambiado sus url :
<p>
The error indicates that the DBpedia dataset failed to download because the Google Drive link being used is not a direct download link. This usually happens when the download mechanism expects a specific 'content-disposition' header from Google Drive, which is missing with the current link. To resolve this, you might need to manually download the dataset from Google Drive or retry, as Google Drive download links can sometimes be temperamental for programmatic access.
</p>
Yo l oitnetado muchas veces pero no puede obtenerlo en colab, asi que itente con el que vosotros propones, AG_NEWS ese funciona bien, llevare el resto de la clase con el. PD: Gracias.
Tengo algunas duda, para entender mejor como funciona la tokenizacion y el vocabulario. La tokenizacion es la que separa palabras y el vocabulario el que la un número único? Porque entonces le ponemos al tokenizador que use ingles, el separa por detectar que tipo de palabras? Y de ser el caso que separa por sentido de palabra y relación, cual tokenizador de palabras en español hasta mal escritas recomiendan?
Dando mi opinión a tus inquietudes:
En una oración puedes tener palabras que tengan sentido o que ni siquiera existan:
Un buen tokenizador solo te devolvería los elementos que relamente son palabras.
Una vez que de tu corpus (todas las palabras disponibles de tu dataset) obtuviste tus tokens puedes asignarles un número que represente a la palabra, de esta forma "discretizas" las palabras.
lo ponemos en inglés porque DBPEDIA está en inglés y pese a que "amarillo" es un token, en inglés no está definida la palabra entonces pasaría a ser "unk"
Lidiar con palabras mal escritas es mucho más complejo, tendrías que tu mismo crear tu tokenizador haciendo splits por espacio, pero tendrías un vocab enorme lleno de variantes de la misma palabra y normalmente quieres evitar eso, porque todas esas variantes en realidad significan lo mismo. Normalmente otro proceso muy importante que se hace es aplicar lemmatization o stemming que básicamente buscan llevar a una expresión común diferentes palabras. Por ejemplo:
Todas tienen como raiz "gato" todas esas palabras NO serían tratadas como entedes diferentes sino como "gato" y todas compartirían el mismo identificador númerico (este proceso de stemming no fue tratado en esta clase, pero es un concepto bastante útil)
Cual es la razón principl de crear los pipelines? Tampoco me quedo muy claro, en el ciclo fro no habiamos creado ya el vocabulario?
Hasta donde he podido entender tu pregunta, me parece que estas mezclando los conceptos de tokenización y creación del vocabulario.
El primero es solamente separar las palabras basandote en el idioma inglés como referencia, el segundo es asignarles una represtación númerica de acuerdo al corpus con el que fue entrenado (en nuestro caso DBpedia)
de esta manera el texto_pipeline es en si misma una función que hace 2 cosas por nosotros:
Recibe un parámetro X que es un texto y lo pasa por la función tokenizador (básicamente separa las palabras)
Después de haber tokenizado la oración obtiene su representación númerica con vocab
De esta manera en un solo pipeline entra una oración y sale una representación númerica del mismo.
PD en este cacho del código:
def yield_tokens(data_iter): for _, texto in data_iter: yield tokenizador(texto)
NO creaste el vocabulario en sí mismo, solo hiciste un yield a una oración específica con su versión tokenizada, es hasta:
vocab = build_vocab_from_iterator(yield_tokens(train_iter), specials=["<unk>"]) vocab.set_default_index(vocab["<unk>"])
Donde realmente se definio el vocab
El procesamiento de datos, especialmente en tareas de procesamiento de lenguaje natural (NLP), implica pasos como la tokenización y la creación de vocabularios. Aquí te explico ambos conceptos y cómo se implementan, particularmente en el contexto de PyTorch.
### 1. Tokenización
La **tokenización** es el proceso de dividir un texto en unidades más pequeñas llamadas "tokens". Estos pueden ser palabras, subpalabras o caracteres. La tokenización permite que los modelos entiendan el texto en un formato que pueden procesar.
Existen diferentes enfoques de tokenización:
- **Tokenización por palabras**: Divide el texto en palabras.
- **Tokenización por subpalabras**: Utiliza algoritmos como Byte Pair Encoding (BPE) para dividir palabras en subunidades, lo que es útil para manejar palabras desconocidas y reducir el vocabulario.
- **Tokenización por caracteres**: Cada carácter se convierte en un token, lo que puede ser útil para ciertos tipos de modelos.
### Ejemplo de Tokenización en PyTorch
Aquí hay un ejemplo básico de cómo realizar la tokenización utilizando torchtext:
import torch from torchtext.data.utils import get\_tokenizer \# Texto de ejemplo text = "Hola, esto es un ejemplo de tokenización." \# Crear un tokenizador tokenizer = get\_tokenizer("basic\_english") \# Tokenizar el texto tokens = tokenizer(text) print(tokens)
### 2. Creación de Vocabulario
La **creación de vocabulario** implica construir un conjunto de todos los tokens únicos que aparecen en tu conjunto de datos. Esto es fundamental porque el modelo necesita mapear cada token a un número entero (índice) que puede utilizar durante el entrenamiento.
Los vocabularios pueden ser simples o pueden incluir mapeos adicionales, como las frecuencias de palabras.
### Ejemplo de Creación de Vocabulario en PyTorch
A continuación, se muestra un ejemplo de cómo crear un vocabulario a partir de los tokens:
from collections import Counter from torchtext.vocab import Vocab \# Contar la frecuencia de los tokens counter = Counter(tokens) \# Crear el vocabulario vocab = Vocab(counter) \# Ver el vocabulario print(vocab.stoi) # Muestra el índice de cada token print(vocab.itos) # Muestra el token correspondiente a cada índice
### Integración en el Entrenamiento del Modelo
Una vez que tienes los tokens y el vocabulario, puedes convertir tus textos en secuencias de índices y alimentar estos índices a tu modelo de PyTorch para el entrenamiento.
### Ejemplo Completo
Aquí hay un flujo de trabajo más completo que incluye la tokenización y la creación de vocabulario:
import torch from torchtext.data.utils import get\_tokenizer from collections import Counter from torchtext.vocab import Vocab \# Texto de ejemplo corpus = \[   "Hola, esto es un ejemplo de tokenización.",   "Este es otro ejemplo para crear vocabulario." ] \# Crear un tokenizador tokenizer = get\_tokenizer("basic\_english") \# Tokenizar y contar la frecuencia de tokens tokens = \[] for line in corpus:   tokens.extend(tokenizer(line)) \# Crear el vocabulario counter = Counter(tokens) vocab = Vocab(counter) \# Convertir texto a índices text\_indices = \[\[vocab\[token] for token in tokenizer(line)] for line in corpus] \# Mostrar los resultados print("Vocabulario:", vocab.stoi) print("Índices del texto:", text\_indices)
### Conclusión
La tokenización y la creación de vocabulario son pasos críticos en el procesamiento de datos para modelos de NLP. Usar bibliotecas como torchtext simplifica mucho estos procesos, permitiendo concentrarse en el diseño y entrenamiento de modelos en lugar de preocuparse por el preprocesamiento de datos.
Les qiuiero compartir un video que me explico de una manera muy clara el concepto
Si no les funciona ninguna de las otras soluciones que estaban en los comentarios para solucionar el problema con el dataset, lo que hice fue crear otro ambiente con python 3.9 e instalar la version de torchtext 0.15.1.
No necesariamente debe ser la 3.9, pero era la que tenia a la mano.
¿Dónde estan las archivos de recursos de la clase ?
mmm en la nueva interfaz que lanzaron, mmm debajo del video y del nombre del curso, hay dos pestañas, temario y Recursos, en recursos puedes encontrar los recursoso de la clase 🤓
