Extracción de Ngramas y Bigramas con NLTK en Python

Clase 11 de 24 • Curso de Fundamentos de Procesamiento de Lenguaje Natural con Python y NLTK

Resumen

¿Qué son los ngramas y las colocaciones?

Los ngramas y las colocaciones son conceptos fundamentales en el procesamiento del lenguaje natural. Un ngrama es una secuencia de palabras consecutivas en un texto. Puede ser un bigrama (dos palabras), un trigrama (tres palabras) o más. Las colocaciones, por otro lado, son conjuntos de palabras que tienden a aparecer juntas debido a factores culturales o de uso en el lenguaje, como "tomar una decisión" o "romper el hielo". Estas secuencias nos permiten analizar textos de manera profunda, identificando patrones y relaciones significativas entre palabras.

¿Cómo extraer bigramas usando NLTK?

Para trabajar con bigramas en NLTK, es importante seguir ciertos pasos para obtener un análisis significativo. Empezamos importando las librerías necesarias como NLTK, Pandas, Matplotlib y Plotly. Estas herramientas nos permiten manejar textos y realizar visualizaciones interactivas.

import nltk
from nltk import bigrams
from nltk.book import text1

# Cargar libro
nltk.download('book')

# Generar bigramas
md_bigrams = list(bigrams(text1))

¿Cómo calcular la frecuencia de bigramas?

Una vez extraídos los bigramas de un texto, podemos calcular su frecuencia utilizando la función FreqDist de NLTK. Esto nos proporciona una distribución de apariencia de los bigramas en el texto.

from nltk import FreqDist

# Calcular la frecuencia de bigramas
f_dist = FreqDist(md_bigrams)

# Obtener los 10 bigramas más comunes
common_bigrams = f_dist.most_common(10)

¿Cómo filtrar bigramas de forma efectiva?

Podemos aplicar filtros a nuestros bigramas para eliminar palabras irrelevantes o caracteres especiales. Esto se puede hacer utilizando listas y condiciones dentro de bucles for.

threshold = 2
filtered_bigrams = [bigram for bigram in md_bigrams if len(bigram[0]) > threshold and len(bigram[1]) > threshold]

¿Cómo trabajar con trigramas y engramas en general?

El análisis de trigramas sigue una lógica similar a la de los bigramas. La función ngrams de NLTK permite calcular secuencias de cualquier longitud.

from nltk.util import ngrams

# Definir trigramas
md_trigrams = list(ngrams(text1, 3))

# Calcular frecuencia de trigramas
trigram_dist = FreqDist(md_trigrams)

¿Cuál es la importancia de los engramas en la PNL?

Los engramas juegan un papel crucial en muchas aplicaciones del procesamiento del lenguaje natural. Son la base para:

La clasificación de texto
La traducción automática
El aprendizaje de embeddings para vectores de palabras
El desarrollo de algoritmos avanzados en deep learning

Además, si estás en redes sociales analizando comentarios sobre una marca, usar engramas te facilitará la creación de nubes de palabras o frases, ayudándote a entender mejor el contexto y sentimiento asociado a un tema específico.

Recomendaciones para seguir aprendiendo

Entender y aplicar correctamente el análisis de ngramas y colocaciones te abrirá puertas a una amplia gama de posibilidades en el procesamiento del lenguaje natural. Te animo a seguir explorando y practicando con diferentes textos y herramientas, ¡el campo de la PNL está lleno de oportunidades emocionantes!

Mario Barbosa

student•

Configuración inicial

import nltk 
nltk.download(&quot;book&quot;)
from nltk.book import *
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import plotly.express as px

Cristian Nicolás Pereira

student•

from nltk.util import ngrams

md_trigrams = list(ngrams(text1,3))# objeto que va a guardar una lista, el segundo argumento es la cantidad de palabras que quiero extraer
#list es para que lo pueda mostrar 

filtered_trigrams = [trigram for trigram in md_trigrams if len(trigram[0]) &gt; threshold and len(trigram[1]) &gt; threshold and len(trigram[2]) &gt; threshold]

fdist = FreqDist(filtered_trigrams)
print(fdist.most_common(10)) 

fdist.plot(10)

Omar Larasa

student•

Aquí dejo un ejemplo de como es que quedarían los tri-gramas ya filtrados y ploteados, además dejo el código comentado por si es que te ha surgido una duda de que hace cada paso :)


from nltk.util import ngrams
# extraemos los trigramas
md_trigrams = list(ngrams(text1, 3))
# obtenemos su distribucion
fdist = FreqDist(md_trigrams)

# AHORA VAMOS A VER LOS MAS COMUNRES Y FILTRARLOS

# minimo de caracteres para las palabras de los bi-gramas
threshold = 2
# hacemos el filtrado
filtered_trigrams = [trigram for trigram in md_trigrams \
                    if len(trigram[0]) > threshold \
                    and len(trigram[1]) > threshold \
                    and len(trigram[2]) > threshold]

# obtenemos las distribuciones 
filtered_dist = FreqDist(filtered_trigrams)
# procedemos directamente al plot de los 20 mas comunes
filtered_dist.plot(20)

Miguel Angel Velazquez Romero

student•

Muy buen trabajo Omar, muchas gracias por compartir! :)

Daniela Morales

student•

por aqui dejo esto :

filtered = [trigram for trigram in trigrama if re.search("[a-z0-9]", trigram[0]) and re.search("[a-z0-9]", trigram[1]) and re.search("[a-z0-9]", trigram[2]) and len(trigram[0]) > 2 and len(trigram[1]) > 2 and len(trigram[2]) > 2]
filtered
fdist = FreqDist(filtered)
fdist.most_common(4)
fdist.plot(4)

Marcelo Sánchez

student•

Sería interesante saber cual es el tamaño óptimo de un N-Grama para un texto cualquiera, calculo que las estadísticas para las colocaciones varían según el tamaño del n-grama.

Marianela Arcila Sanchez

student•

cuando realiza los bigramas, esta usando el texto ya tokenizados?

Elisa Almazán

student•

Si, ya están tokenizados, se usa como refenrencia "text1"

Andrés Molina

student•

Con estas 3 lineas de codigo reducimos la busqueda evitando las palabras sin valor que aparecen tanto en mayuscula como en minuscula

from nltk.corpus import stopwords
stop_words = stopwords.words('english')
c_stopwords = stop_words + [i.upper() for i in stop_words]

Joel Orellana

student•

¿Por que no se usa stop-words para filtrar?

Jaison Hernando Velasco Camacho

student•

Agregando "stopwords"

from nltk.corpus import stopwords
stop_words = stopwords.words('english')
tokens_filtrados = [palabra for palabra in text1 if palabra.isalpha() and palabra.lower() not in stop_words]

md_bigrams = list(bigrams(tokens_filtrados))
fdist = FreqDist(md_bigrams)
md_bigrams[:15]

Ricardo Soler

student•

Obtengo el siguiente error al ejecutar la primera celda del C5 ipynb. import nltk nltk.download('book') from nltk.book import * import matplotlib.pyplot as plt import numpy as np import pandas as pd import plotly.express as px Mi entorno es JupyterLab 1.2.6 dentro de la instalacion de Anaconda Navigator 1.9.7 ¿Alguien sabe por qué?

ModuleNotFoundError Traceback (most recent call last) <ipython-input-1-fde300df6df3> in <module> 5 import numpy as np 6 import pandas as pd ----> 7 import plotly.express as px

ModuleNotFoundError: No module named 'plotly'

Angelica Landazabal

student•

Hola! Porfa verifica que tienes instalado el módulo de plotly usando el siguiente comando en la consola de tu entorno virtual:

&gt;pip freeze

De no estar allí listado, te invito a que uses el siguiente comando para la instalación:

&gt;pip install plotly

Espero te ayude, bye ;)

Ricardo Soler

student•

Justo era eso. Error de principiante. Gracias Angelica!

Gabriel Gonzalez Campos

student•

Muy buen curso, una muy buena explicación de los n-gramas

Ivan Arley Guerrero Sanchez

student•

aun tenemos un problema y es las mayusculas y las minusculas

from nltk.util import ngrams
tgrams=list(ngrams(text1,3))
fd_tgrams=FreqDist(tgrams)
fd_tgrams.most_common(5)

threshold=2
filter_tgrams=[tgram for tgram in tgrams if len(tgram[0])>threshold and len(tgram[1])>threshold and len(tgram[2])>threshold]
fd_tgrams_filter=FreqDist(filter_tgrams)
fd_tgrams_filter.most_common(5)```

[(('the', 'Sperm', 'Whale'), 77),
 (('the', 'White', 'Whale'), 63),
 (('the', 'old', 'man'), 32),
 (('the', 'sperm', 'whale'), 30),
 (('the', 'Right', 'Whale'), 25)]

Joel Eduardo Gaspar

student•

filtered_bigrams = [bigram for bigram in md_bigrams 
                     if not bigram[0] in stop_words 
                     and bigram[1] not in stop_words 
                     and bigram[0] in str(re.search('[a-zA-Z]{3,}', bigram[0]))
                     and bigram[1] in str(re.search('[a-zA-Z]{3,}', bigram[1]))
                     ]

Gabriel Obregón

student•

🧠NGRAMAS Y COLOCACIONES EN PNL

🔷 1. CONCEPTOS CLAVE

🔹 Ngrama: Secuencia de palabras consecutivas en un texto.

🟢 Bigrama: 2 palabras → “buen día”
🟢 Trigrama: 3 palabras → “cómo estás hoy”
🟢 n-gramas: secuencias de longitud variable

🔹 Colocación: Palabras que suelen aparecer juntas de forma natural o cultural. 👉 Ejemplos: “tomar una decisión”, “romper el hielo”

💡 Sirven para detectar patrones, dependencias y relaciones entre palabras.

⚙️ 2. CÓMO EXTRAER BIGRAMAS CON NLTK

🧰 Librerías necesarias: nltk, pandas, matplotlib, plotly

🪄 Pasos:

1️⃣ Importar módulos

2️⃣ Descargar corpus de prueba

3️⃣ Generar bigramas

import nltk

from nltk import bigrams

from nltk.book import text1

nltk.download('book')

md_bigrams = list(bigrams(text1))

📘 “bigrams” crea una lista con pares de palabras consecutivas.

📊 3. CÁLCULO DE FRECUENCIA DE BIGRAMAS

🎯 Objetivo: saber qué combinaciones se repiten más en el texto.

from nltk import FreqDist

f_dist = FreqDist(md_bigrams)

common_bigrams = f_dist.most_common(10)

🔍 FreqDist → genera una distribución de frecuencias de bigramas. 📈 Ayuda a identificar patrones dominantes en el lenguaje.

🧹 4. FILTRADO DE BIGRAMAS

🚫 Problema: algunas palabras son demasiado cortas o irrelevantes.

✅ Solución: aplicar filtros con condiciones.

threshold = 2

filtered_bigrams = [

bigram for bigram in md_bigrams

if len(bigram[0]) > threshold and len(bigram[1]) > threshold

]

💬 Solo conserva bigramas con palabras de más de dos letras.

🔠 5. TRIGRAMAS Y OTROS NGRAMAS

📐 Función útil: ngrams() Permite generar secuencias de cualquier longitud (n palabras consecutivas).

from nltk.util import ngrams

md_trigrams = list(ngrams(text1, 3))

trigram_dist = FreqDist(md_trigrams)

➡️ El análisis de trigramas sigue la misma lógica que el de bigramas.

Robinson Raúl Ríos Vicuña

student•

Buenos días comparto el código que puede usarse para filtrar los ngrams, este es un ejemplo de como lo utilice para los trigramas.

filtered_trigrams = [trigram for trigram in md_trigrams if all(len(word) > threshold for word in trigram)]

Anderson Meza

student•

Dejo el código que filtra los ngramas de forma dinámica, independientemende si son bigramas, trigramas, etc.

filtered_ngrams=[ngram for ngram in md_ngrams if False not in [len(word)>threshold for word in ngram]]

Francisco Garcia [C6]

student•

threshold = 2
filtered_trigrams = [ngram for ngram in md_trigrams if len(ngram[0])>threshold and len(ngram[1])>threshold and len(ngram[2])>threshold]
filtered_tri_dist = FreqDist(filtered_trigrams)
filtered_tri_dist.plot(20)

filtered_tri_dist.most_common(20)

Juan Antonio Aramburo Pasapera

student•

Qué les parece esta forma para definir los bigramas y los trigramas. Creo que es un poco más rápido y más significativo.

import nltk 
nltk.download('book')
from nltk.book import text1
from nltk.probability import FreqDist
nltk.download('stopwords')
from nltk.corpus import stopwords

english_stopwords = stopwords.words("english")

filtered_freqdist = FreqDist(nltk.bigrams(filter(lambda word: word.isalpha() and word.lower() not in english_stopwords, text1)))

filtered_freqdist.plot(20)

Y para los trigramas

filtered_freqdist = FreqDist(nltk.ngrams(filter(lambda word: word.isalpha() and word.lower() not in english_stopwords, text1), 3))

filtered_freqdist.plot(20)

Eday Alix González Manjarrés

student•

Filtrando los tri-gramas

threshold = 2
filtered_trigrams = (trigram for trigram in md_trigrams if len(trigram[0])>threshold and len(trigram[1])>threshold and len(trigram[2])>threshold)
filtered_trigrams_dist = FreqDist(filtered_trigrams)
filtered_trigrams_dist.most_common(10)
filtered_trigrams_dist.plot(10)

Pablo José Ramos Wilkins

student•

Cuando grafiqué los bigramas pude observar que algunos se repetían, debido a que a la minúscula y mayúscula. Así que después de importar las librerías le añadí las siguientes líneas para transformar las palabras a lowercase:

# stopwords
stop_words = stopwords.words('english')
# Eliminado de stopwords y conversión a lowercase
text1 = [word.lower() for word in text1 if word not in stop_words]

Ojalá más tarde no tenga que darme cuenta que no es correcto hacerlo.

Extracción de Ngramas y Bigramas con NLTK en Python

Introducción al Procesamiento de Lenguaje Natural

Fundamentos del Procesamiento de Lenguaje Natural con Python y NLTK

Evolución y Técnicas del Procesamiento del Lenguaje Natural

Procesamiento del Lenguaje Natural con Python y NLTK

Fundamentos con NLTK

Procesamiento de Lenguaje Natural con Python en Google Colab

Expresiones Regulares en Python: Patrones de Búsqueda Avanzados

Tokenización de Texto con Expresiones Regulares en Python

Estadística para Procesamiento del Lenguaje: Riqueza Léxica y Métricas

Cálculo de frecuencias con NLTK y diccionarios en Python

Filtrado y Visualización de Frecuencias de Palabras con NLTK y NumPy

Estadísticas de Ennegramas y Colocaciones en Textos