Filtrado y Visualización de Frecuencias de Palabras con NLTK y NumPy

Curso de Fundamentos de Procesamiento de Lenguaje Natural con Python y NLTK

Contenido del curso

Introducción al Procesamiento de Lenguaje Natural

Fundamentos con NLTK

Perspectivas de lo que viene

24
Fundamentos del Procesamiento del Lenguaje Natural con NLTK
03:16 min

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0017:30

Filtrado y Visualización de Frecuencias de Palabras con NLTK y NumPy

Curso de Fundamentos de Procesamiento de Lenguaje Natural con Python y NLTK

Clase 9 de 24

Clase 9 / 24

Recursos

¿Cómo abordar las distribuciones de frecuencia en un corpus de texto?

Las distribuciones de frecuencia de palabras nos permiten entender qué términos son más frecuentes dentro de un texto, pero es necesario filtrar estas distribuciones para identificar palabras verdaderamente relevantes. Al analizar un documento o corpus de datos, como libros, tweets, o cualquier otro tipo de colección textual, es vital separar las palabras con contenido semántico importante de aquellas que simplemente sirven como conectores.

¿Qué hicimos en nuestra clase anterior?

Anteriormente, utilizamos la librería nltk y su método FreqDist para calcular la distribución de frecuencia de palabras en el libro "Moby Dick". Sin embargo, las palabras más frecuentes no siempre son las más relevantes desde un punto de vista semántico o gramatical.

Usamos FreqDist para identificar las palabras más comunes en un texto.
Observamos que muchas de estas palabras no aportan información valiosa sobre el contenido del texto.

¿Cómo filtrar las palabras más relevantes?

Para obtener palabras que realmente nos aporten información, creamos un filtro basado en la longitud de las palabras. Este proceso nos permitió eliminar elementos no semánticos, como signos de puntuación y palabras de uso muy común que no agregan relevancia.

long_words = [palabra for palabra in text1 if len(palabra) > 5]

¿Cómo creamos un nuevo vocabulario filtrado y su distribución?

Después de filtrar las palabras, generamos un nuevo vocabulario con las palabras relevantes ordenadas alfabéticamente:

vocabulario_filtrado = sorted(set(long_words))

Luego, construimos una nueva distribución de frecuencias para este vocabulario reducido:

palabras_interesantes = [(palabra, f_dist[palabra]) for palabra in vocabulario_filtrado if f_dist[palabra] > 10]

¿Cómo transformamos datos a objetos NumPy?

La transformación de datos a un formato NumPy nos permite operar con los datos de manera más eficiente, especialmente cuando se trata de ordenar listas con grandes volúmenes de datos:

import numpy as np

d_types = [('word', 'U50'), ('frequency', 'int')]
palabras_interesantes = np.array(palabras_interesantes, dtype=d_types)
palabras_interesantes = np.sort(palabras_interesantes, order='frequency')

¿Cómo visualizar las distribuciones ordenadas con Matplotlib?

Finalmente, podemos visualizar esta nueva distribución utilizando Matplotlib, una herramienta poderosa para gráficos:

import matplotlib.pyplot as plt

plt.figure(figsize=(10, 5))
plt.plot(range(len(palabras_interesantes)), [item[1] for item in palabras_interesantes])
plt.xticks(rotation='vertical')
plt.grid(True)
plt.show()

Este análisis no solo es aplicable a libros sino también puede ser extendido a análisis de redes sociales, investigación de mercado, y cualquier tipo de investigación lingüística, ya que las palabras más frecuentes rara vez cuentan toda la historia. Estas técnicas te permiten profundizar más y sacar el máximo provecho de tus datos textuales. ¡Sigue explorando y perfeccionando estas herramientas para extraer insights valiosos!

Gabriel Obregón

Hace un año

🧠Distribuciones de Frecuencia en un Corpus de Texto

🔍 1. Qué son las distribuciones de frecuencia

📘 Definición: Muestran cuántas veces aparece cada palabra dentro de un texto o conjunto de textos (corpus).

🎯 Propósito: Detectar los términos más representativos del contenido.

⚠️ Atención: Las palabras más frecuentes no siempre son las más importantes —muchas son conectores o artículos (como “el”, “y”, “de”).

💡 Clave: Filtrar las palabras ayuda a centrarse en las que aportan significado real.

🧩 2. Lo que hicimos en clase

🧠 Herramienta: nltk ⚙️ Método: FreqDist

🔸 Pasos realizados:

Analizamos Moby Dick para obtener la frecuencia de palabras.
Notamos que muchas palabras comunes no eran relevantes. Decidimos crear un filtro para mejorar el análisis.

🧾 Ejemplo de código:

from nltk import FreqDist

f_dist = FreqDist(text1)

✂️ 3. Filtrar palabras relevantes

🧰 Estrategia: Eliminar palabras cortas, signos o conectores. Nos quedamos solo con las que tienen más de 5 caracteres.

🧾 Ejemplo:

long_words = [palabra for palabra in text1 if len(palabra) > 5]

✅ Resultado: Una lista de palabras más largas y significativas.

📚 4. Crear un vocabulario filtrado

🔹 Paso 1: Ordenar las palabras alfabéticamente

vocabulario_filtrado = sorted(set(long_words))

🔹 Paso 2: Calcular su frecuencia (solo si aparecen más de 10 veces)

palabras_interesantes = [(palabra, f_dist[palabra])

for palabra in vocabulario_filtrado

if f_dist[palabra] > 10]

📈 Resultado: Una lista ordenada con palabras relevantes y su frecuencia.

⚙️ 5. Optimizar con NumPy

🧮 Por qué usarlo: NumPy permite ordenar y procesar datos masivos de manera rápida y eficiente.

🧾 Implementación:

import numpy as np

d_types = [('word', 'U50'), ('frequency', 'int')]

palabras_interesantes = np.array(palabras_interesantes, dtype=d_types)

palabras_interesantes = np.sort(palabras_interesantes, order='frequency')

🚀 Ventaja: Obtienes un conjunto de datos ordenado y listo para análisis o visualización.

📊 6. Visualizar los resultados con Matplotlib

🎨 Objetivo: Representar gráficamente la frecuencia de las palabras.

🧾 Código:

import matplotlib.pyplot as plt

plt.figure(figsize=(10, 5))

plt.plot(range(len(palabras_interesantes)), [item[1] for item in palabras_interesantes])

plt.xticks(rotation='vertical')

plt.grid(True)

plt.show()

📉 Qué muestra: La distribución de las palabras más frecuentes después del filtrado.

Comentarios (39)39 comentarios

Tatiana Novoa

Hace 6 años

Francisco Camacho

Profesor

Sergio Argel

Carlos Chavez

Johan Emanuel Palacios Rivera

Hace 4 años

Ronald Espinoza

Geovany Uribe Aguirre

Alberto Perdomo

Alan Vazquez

Carlos Alberto Roque Torrealba

César Pérez

Hace 5 años

jimmy ibañez

Joel Eduardo Gaspar

Edwin Cubillos

Camilo Andrés Patiño Restrepo

Marianela Arcila Sanchez

Hugo Fernandez Quiroz

Henry Mendiburu Díaz

Luis Suárez

Marcelo Sánchez

Enrique Ortuno

Juan Pablo Rodriguez Pedraos

Hace 2 años

Carlos Arteaga

Jhon Freddy Tavera Blandon

Introducción al Procesamiento de Lenguaje Natural

Fundamentos del Procesamiento de Lenguaje Natural con Python y NLTK

Evolución y Técnicas del Procesamiento del Lenguaje Natural

Procesamiento del Lenguaje Natural con Python y NLTK

Fundamentos con NLTK

Procesamiento de Lenguaje Natural con Python en Google Colab

Expresiones Regulares en Python: Patrones de Búsqueda Avanzados

Tokenización de Texto con Expresiones Regulares en Python

Estadística para Procesamiento del Lenguaje: Riqueza Léxica y Métricas

Cálculo de frecuencias con NLTK y diccionarios en Python

Filtrado y Visualización de Frecuencias de Palabras con NLTK y NumPy

Estadísticas de Ennegramas y Colocaciones en Textos

Extracción de Ngramas y Bigramas con NLTK en Python

Análisis de Colocaciones con NLTK y Pandas en Python

Visualización de Colocaciones en Textos con Pandas y Plotly

Identificación de Colocaciones en Textos con NLTK y PMI

Recursos Léxicos: Uso y Aplicación en Procesamiento del Lenguaje

Recursos Léxicos en Python: Vocabularios, Frecuencias y Stopwords

Traducción de palabras con Swadesh en procesamiento de lenguaje natural

Uso de WarNet para Procesamiento del Lenguaje Natural

Análisis de Sinsets e Hipónimos con NLTK y WordNet en Google Colab

Medición de Similitud Semántica con WordNet en Python

Extracción y Procesamiento de Texto desde Páginas Web con NLTK

Organización de Código en Google Colab con Funciones y Módulos

Funciones y Buenas Prácticas en Google Colab y Python

Perspectivas de lo que viene

Fundamentos del Procesamiento del Lenguaje Natural con NLTK

Filtrado y Visualización de Frecuencias de Palabras con NLTK y NumPy

Progreso del curso

Introducción al Procesamiento de Lenguaje Natural

Fundamentos con NLTK

Perspectivas de lo que viene

Recursos

Recursos