Tokenización de Texto con Expresiones Regulares en Python

Curso de Fundamentos de Procesamiento de Lenguaje Natural con Python y NLTK

Contenido del curso

Introducción al Procesamiento de Lenguaje Natural

Fundamentos con NLTK

Perspectivas de lo que viene

24
Fundamentos del Procesamiento del Lenguaje Natural con NLTK
03:16 min

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0010:03

Tokenización de Texto con Expresiones Regulares en Python

Curso de Fundamentos de Procesamiento de Lenguaje Natural con Python y NLTK

Clase 6 de 24

Clase 6 / 24

Recursos

¿Cómo usar expresiones regulares para definir algoritmos de tokenización en Python?

Las expresiones regulares son una herramienta poderosa que nos permite manipular texto de manera eficiente. En particular, cuando se trata de procesar lenguaje natural, podemos utilizarlas para definir algoritmos de tokenización en Python. En esta clase, exploraremos cómo aprovechar las expresiones regulares con la librería NLTK para tokenizar texto y limpiar nuestro corpus para análisis.

¿Qué es una cadena de texto RAW y cómo se utiliza?

Para que Python interprete una cadena de texto sin reconocer caracteres especiales, debemos utilizar el prefijo r delante de la cadena. Esto indica que Python debe tratar los caracteres especiales como texto plano, también conocido como texto "RAW".

Por ejemplo:

print(r"Esta es una cadena con una nueva línea \n que será mostrada tal cual.")

El uso de la r convierte a los caracteres especiales en parte del texto y no en comandos ejecutables dentro de la cadena, lo que es esencial cuando tratamos con texto que incluye caracteres de escape.

¿Cómo tokenizar texto con espacios vacíos?

Tokenizar texto es el proceso de dividirlo en unidades más pequeñas, conocidas como "tokens". El método más básico de tokenización es mediante la separación por espacios vacíos, y esto se puede lograr fácilmente utilizando la función split de la librería re.

import re

texto = "Cuando sea el rey del mundo, (imaginaba él en su cabeza) no tendré que preocuparme por estas bobadas."
tokens = re.split(r'\s+', texto)

Aquí, el uso de \s+ permite dividir el texto en base a uno o más espacios vacíos, creando tokens individuales para cada palabra.

¿Cómo mejorar la tokenización con expresiones regulares?

Para lograr un nivel de tokenización más sofisticado, podemos desarrollar expresiones regulares que filtren caracteres especiales no deseados.

Consideremos la siguiente expresión regular:

tokens = re.split(r'[ \t\n]+', texto)

Esta expresión busca espacios, tabulaciones y nuevas líneas, proporcionando una tokenización más limpia al eliminar estos caracteres del proceso.

¿Cómo crear un tokenizador sofisticado con NLTK?

A medida que los textos se vuelven más complejos, con caracteres y símbolos especiales, las expresiones regulares básicas no son suficientes. Aquí es donde NLTK ofrece una excelente solución con la función RegexpTokenizer.

Una aplicación avanzada de esta técnica se puede ver como sigue:

from nltk.tokenize import RegexpTokenizer

pattern = r'\b\w+\b'
tokenizer = RegexpTokenizer(pattern)
tokens = tokenizer.tokenize(texto)

El patrón \b\w+\b permite capturar palabras completas, evitando caracteres que no contribuyen al contenido semántico del texto.

¿Por qué usar Regex Token Eyes de NLTK?

Cuando enfrentamos textos altamente complejos, con abreviaciones, números decimales y otros elementos, Regex Token Eyes de NLTK se convierte en un recurso inestimable. Este tokenizador emplea expresiones regulares complejas para lograr una tokenización precisa.

from nltk.tokenize import RegexpTokenizer

pattern = r"\b\w+\b(?:[.\-]\w+)*"
tokenizer = RegexpTokenizer(pattern)
tokens = tokenizer.tokenize("En los EE.UU., esa postal vale quince cincuenta dólares...")

Así, podemos capturar correctamente acrónimos, precios y otros casos especiales como tokens únicos, mejorando significativamente la calidad del análisis.

Con herramientas como estas, estás en capacidad de construir un tokenizador tanto básico como avanzado para diversas aplicaciones en procesamiento de lenguaje natural. ¡Sigue explorando y sorprendiendo al mundo con tus habilidades en Python!

Jhon Freddy Tavera Blandon

Hace 2 años

(?x) – Modo verboso
- Este es un modificador de la expresión regular que indica que la expresión está en modo verboso. Esto permite añadir espacios en blanco y comentarios en la expresión regular para hacerla más legible, sin afectar su funcionamiento.
- En resumen, (?x) permite que la expresión esté escrita de forma más comprensible para los humanos.
(?:[A-Z]\.)+ – Abreviaturas con letras mayúsculasEjemplo de coincidencia:
- [A-Z]: Captura cualquier letra mayúscula (de la A a la Z).
- \.: Captura un punto literal ..
- (?: ... ): Esta es una agrupación no capturadora, es decir, no guarda el contenido entre paréntesis como parte del resultado final.
- +: El + indica que se pueden capturar una o más ocurrencias del patrón que se encuentra antes (es decir, más de una letra seguida de un punto).
- Propósito: Este patrón se utiliza para capturar abreviaturas formadas por letras mayúsculas seguidas de puntos, como "U.S.A." o "E.U.".

- "U.S.A.", "E.U.", "M.B.A."
\w+(?:-\w+)* – Palabras con o sin guionesPropósito: Captura palabras simples o palabras compuestas con guiones.Ejemplo de coincidencia:
- \w+: Captura una o más ocurrencias de caracteres de palabra, que incluyen letras, dígitos o el carácter subrayado (_). Equivale a [a-zA-Z0-9_].
- (?:-\w+)*: Captura palabras compuestas con guiones. Esto permite que el patrón coincida con palabras separadas por guiones, como "auto-retrato" o "bien-estar".
  - -: Captura un guion literal.
  - \w+: Captura otra palabra después del guion.
  - *: Permite que este patrón ocurra cero o más veces (lo que significa que una palabra puede tener cero o más guiones).

- "palabra", "bien-estar", "auto-retrato".
\$?\d+(?:\.\d+)? – Números con o sin decimales y con o sin signo de dólarPropósito: Captura números enteros, números decimales, y cantidades monetarias precedidas por un signo de dólar.Ejemplo de coincidencia:
- \$?: Captura un signo de dólar $ opcional (es decir, si está o no presente).
- \d+: Captura uno o más dígitos, es decir, un número entero.
- (?:\.\d+)?: Captura un punto decimal seguido de uno o más dígitos. Es opcional gracias al signo ?, lo que significa que la parte decimal puede o no estar presente.

- "42", "$19.99", "1000", "3.14".
\.\.\. – ElipsisPropósito: Captura secuencias de elipsis en el texto.Ejemplo de coincidencia:
- \.: Captura un punto literal.
- \.\.\.: Captura tres puntos seguidos (es decir, una elipsis).

- "..."
[][.,;"'?():-_]` – Caracteres de puntuación específicosPropósito: Captura ciertos caracteres de puntuación comunes en los textos.Ejemplo de coincidencia:
- []: Dentro de los corchetes, se especifica un conjunto de caracteres que pueden coincidir.
- [.,;"'?():-_]`: Captura cualquier carácter de puntuación que esté dentro de este conjunto:
  - .: Punto.
  - ,: Coma.
  - ;: Punto y coma.
  - ": Comillas dobles.
  - ': Comillas simples.
  - ?: Signo de interrogación.
  - (): Paréntesis izquierdo o derecho.
  - :: Dos puntos.
  - -: Guion.
  - _: Subrayado.
  - `: Acento grave.

- ".", ",", ";", "(", ")", etc.

Uso del patrón en nltk.regexp_tokenize()

La función nltk.regexp_tokenize() toma un texto y lo divide en tokens según los patrones especificados en la expresión regular. A continuación te muestro cómo se utiliza el patrón:

Comentarios (31)31 comentarios

Facundo Nicolás García Martoni

Profesor

Hace 7 años

Augusto Gonzalez

Hace 6 años

Ruben Jahir Aleman Duarte

Rafael Garcia Garcia

Eduard Steven Arias Briceño

Hace 5 años

William Leonardo Torres Toloza

Henry Mendiburu Díaz

Valentina Arenas Lozano

Sebastian Almeida

Miguel Angel Velazquez Romero

Brian Chuquiruna

Johan Suarez Largo

Gabriel Missael Barco

Joel Eduardo Gaspar

Juan Antonio Aramburo Pasapera

Hace 3 años

Andrés Villarreal

Eber Laurente Lliuyacc

Kenny José Miranda Deluque

Juan Acevedo

Hace un año•editado

Gabriel Obregón

Hace un año

Kevin Liao

Jorge Francesco Ferdinand Meza Mallma

Hace 4 años

Jose Colmenares

David Rodriguez Vargas

Introducción al Procesamiento de Lenguaje Natural

Fundamentos del Procesamiento de Lenguaje Natural con Python y NLTK

Evolución y Técnicas del Procesamiento del Lenguaje Natural

Procesamiento del Lenguaje Natural con Python y NLTK

Fundamentos con NLTK

Procesamiento de Lenguaje Natural con Python en Google Colab

Expresiones Regulares en Python: Patrones de Búsqueda Avanzados

Tokenización de Texto con Expresiones Regulares en Python

Estadística para Procesamiento del Lenguaje: Riqueza Léxica y Métricas

Cálculo de frecuencias con NLTK y diccionarios en Python

Filtrado y Visualización de Frecuencias de Palabras con NLTK y NumPy

Estadísticas de Ennegramas y Colocaciones en Textos

Extracción de Ngramas y Bigramas con NLTK en Python

Análisis de Colocaciones con NLTK y Pandas en Python

Visualización de Colocaciones en Textos con Pandas y Plotly

Identificación de Colocaciones en Textos con NLTK y PMI

Recursos Léxicos: Uso y Aplicación en Procesamiento del Lenguaje

Recursos Léxicos en Python: Vocabularios, Frecuencias y Stopwords

Traducción de palabras con Swadesh en procesamiento de lenguaje natural

Uso de WarNet para Procesamiento del Lenguaje Natural

Análisis de Sinsets e Hipónimos con NLTK y WordNet en Google Colab

Medición de Similitud Semántica con WordNet en Python

Extracción y Procesamiento de Texto desde Páginas Web con NLTK

Organización de Código en Google Colab con Funciones y Módulos

Funciones y Buenas Prácticas en Google Colab y Python

Perspectivas de lo que viene

Fundamentos del Procesamiento del Lenguaje Natural con NLTK

Tokenización de Texto con Expresiones Regulares en Python

Progreso del curso

Introducción al Procesamiento de Lenguaje Natural

Fundamentos con NLTK

Perspectivas de lo que viene

Recursos

Recursos