Análisis de Colocaciones con NLTK y Pandas en Python

Curso de Fundamentos de Procesamiento de Lenguaje Natural con Python y NLTK

Contenido del curso

Introducción al Procesamiento de Lenguaje Natural

Fundamentos con NLTK

Perspectivas de lo que viene

24
Fundamentos del Procesamiento del Lenguaje Natural con NLTK
03:16 min

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0016:16

Análisis de Colocaciones con NLTK y Pandas en Python

Curso de Fundamentos de Procesamiento de Lenguaje Natural con Python y NLTK

Clase 12 de 24

Clase 12 / 24

Recursos

Detectar combinaciones de palabras que aparecen juntas con una frecuencia inusualmente alta es una de las tareas más reveladoras del procesamiento de lenguaje natural. Utilizando bigramas extraídos del texto de Moby Dick, es posible construir una métrica estadística que señale con precisión cuáles de esas combinaciones son verdaderas colocaciones del idioma. A continuación se explica paso a paso cómo lograrlo con NLTK, Pandas y NumPy.

¿Qué son las colocaciones y por qué importan los bigramas filtrados?

Las colocaciones son secuencias de palabras que aparecen en textos y conversaciones con una frecuencia inusualmente alta, y existe evidencia estadística que lo respalda [0:42]. Esto quiere decir que no basta con contar cuántas veces aparece un par de palabras: se necesita una métrica que compare esa frecuencia con lo que se esperaría si las palabras fueran independientes.

El punto de partida es la lista de bigramas calculada previamente con NLTK sobre el texto de Moby Dick. Para trabajar solo con palabras significativas, se aplica un umbral de longitud (threshold) igual a dos caracteres [1:28]. De este modo se descartan artículos, preposiciones de una letra y otros elementos que aportan poco a la identificación de colocaciones.

Se construye una lista llamada filtered_bigrams donde cada palabra del bigrama tiene al menos dos caracteres.
Sobre esa lista se genera una distribución de frecuencias con FreqDist, almacenada en filtered_bigram_dist [2:08].

¿Cómo organizar los datos en un dataframe de Pandas?

Para calcular la métrica de forma ordenada se utiliza un dataframe de la librería Pandas, que funciona como una hoja de cálculo gestionada con código Python [2:30]. Se crea un dataframe vacío y se le añade una columna bigrams con los bigramas únicos, obtenidos mediante set() para eliminar repeticiones.

¿Cómo separar las palabras de cada bigrama?

Con la función apply y una función lambda se extraen la primera y la segunda palabra de cada tupla [3:50]:

df['word_0'] almacena el elemento cero de la tupla.
df['word_1'] almacena el elemento uno.

Esto genera un dataframe con tres columnas: el bigrama completo y sus dos palabras por separado.

¿Qué columnas de frecuencia se necesitan para el cálculo?

Además de la distribución de bigramas, se requiere una distribución de palabras filtradas (filtered_word_dist) construida con el mismo umbral de longitud [6:00]. Con ella se agregan tres columnas de frecuencia al dataframe:

bigram_freq: frecuencia de aparición del bigrama, obtenida con filtered_bigram_dist.
word_0_freq: frecuencia de la primera palabra, obtenida con filtered_word_dist.
word_1_freq: frecuencia de la segunda palabra [7:05].

Cada columna se calcula aplicando apply con una lambda que consulta la distribución correspondiente.

¿Cómo se calcula la métrica PMI para detectar colocaciones?

La PMI (pointwise mutual information o información mutua punto a punto) cuantifica cuánta información contiene un bigrama respecto a la aparición independiente de sus palabras [5:10]. Su fórmula divide la probabilidad conjunta del bigrama entre el producto de las probabilidades individuales de cada palabra, y al resultado se le aplica un logaritmo en base dos [9:20].

En Pandas se implementa seleccionando las tres columnas de frecuencia con doble corchete y aplicando una lambda que opera sobre x.values [8:40]:

python df['PMI'] = df[['bigram_freq','word_0_freq','word_1_freq']].apply( lambda x: np.log2(x.values[0] / (x.values[1] * x.values[2])), axis=1 )

El parámetro axis=1 indica que la operación se realiza fila por fila, no columna por columna; sin él, los valores resultan no numéricos (NaN) [10:15].

¿Qué significan los valores negativos del PMI?

Al ordenar el dataframe con sort_values en orden descendente sobre la columna PMI [10:50], se observa que la mayoría de valores son negativos. Esto ocurre porque la división dentro del logaritmo suele dar números menores a uno, y el logaritmo de un número menor a uno es negativo [11:25].

Los bigramas con PMI cercano a cero (los menos negativos) tienen mayor probabilidad de ser colocaciones.
Los bigramas con valores muy negativos corresponden a combinaciones poco informativas.

Ordenar y visualizar estos resultados permite identificar de forma sistemática las colocaciones reales del texto, apoyándose en evidencia estadística y no solo en la intuición.

Si has trabajado con otras métricas para identificar colocaciones o tienes dudas sobre la implementación, comparte tu experiencia en los comentarios.

jimmy ibañez

Hace 5 años

Que son?
- Son secuencias de palabras que suelen ocurrir ven textos o conversiones con una Frecuencia inusualmente alta
- Las colocaciones de una palabra son declaraciones formales de donde suele ubicarse típicamente esa palabra

Coding

reconstruimos la lista

md_bigrams = list(bigrams(text1))

threshold = 2

Ahora filtramos

filtered_bigrams = [bigram for bigram in md_bigrams if len(bigram[0])>threshold and len(bigram[1])>threshold]
filtered_bigram_dist = FreqDist(filtered_bigrams)

Ahora se introducen los Dataframes, el objeto dataframe gestiona columna y filas

df = pd.DataFrame()

df['bi_grams']=list(set(filtered_bigrams))

Separamos por palabras por cada bigrama

df['word_0']=df['bi_grams'].apply(lambda x: x[0])
df['word_1']=df['bi_grams'].apply(lambda x: x[1])

Para crear distribuciones de palabras filtrado

filtered_words = [word for word in text1 if len(word)>threshold]
filtered_words_dist = FreqDist(filtered_words)

y para agregarlo en el Datframe

df['bi_gram_freq'] = df['bi_grams'].apply (lambda x:filtered_bigram_dist[x])
df['word_0_freq']= df['word_0'].apply (lambda x:filtered_words_dist[x])
df['word_1_freq']=df['word_1'].apply (lambda x:filtered_words_dist[x])

PMI

df['PMI']= df[['bi_gram_freq', 'word_0_freq','word_1_freq']].apply(lambda x: np.log2(x.values[0]/(x.values[1]*x.values[2])), axis =1)

df.sort_values(by = 'PMI', ascending= False)

Comentarios (30)30 comentarios

Miguel Angel Velazquez Romero

Hace 6 años

Saúl Mendoza

Christian Mahonry Colorado Bulbarela

Geovany Uribe Aguirre

Francisco Camacho

Profesor

Angelica Landazabal

Carlos Chavez

Juan Ventrone

david ricardo munevar cancelado

Jaime Andres Valencia Gaviria

Max Baldiviezo

Jorge Francesco Ferdinand Meza Mallma

Hace 4 años

Juan Antonio Aramburo Pasapera

Hace 3 años

Jose de Jesus Herrera Ledon

Guillermo Casanova

Rodrigo Ramos Xochiteotzin

Javier Romero

Gabriel Missael Barco

German Homero Moran Figueroa

Ignacio Eiguren

Edward Toledo López

dalai aguirre jimenez

- -

Gabriel Obregón

Hace un año

Introducción al Procesamiento de Lenguaje Natural

Fundamentos del Procesamiento de Lenguaje Natural con Python y NLTK

Evolución y Técnicas del Procesamiento del Lenguaje Natural

Procesamiento del Lenguaje Natural con Python y NLTK

Fundamentos con NLTK

Procesamiento de Lenguaje Natural con Python en Google Colab

Expresiones Regulares en Python: Patrones de Búsqueda Avanzados

Tokenización de Texto con Expresiones Regulares en Python

Estadística para Procesamiento del Lenguaje: Riqueza Léxica y Métricas

Cálculo de frecuencias con NLTK y diccionarios en Python

Filtrado y Visualización de Frecuencias de Palabras con NLTK y NumPy

Estadísticas de Ennegramas y Colocaciones en Textos

Extracción de Ngramas y Bigramas con NLTK en Python

Análisis de Colocaciones con NLTK y Pandas en Python

Visualización de Colocaciones en Textos con Pandas y Plotly

Identificación de Colocaciones en Textos con NLTK y PMI

Recursos Léxicos: Uso y Aplicación en Procesamiento del Lenguaje

Recursos Léxicos en Python: Vocabularios, Frecuencias y Stopwords

Traducción de palabras con Swadesh en procesamiento de lenguaje natural

Uso de WarNet para Procesamiento del Lenguaje Natural

Análisis de Sinsets e Hipónimos con NLTK y WordNet en Google Colab

Medición de Similitud Semántica con WordNet en Python

Extracción y Procesamiento de Texto desde Páginas Web con NLTK

Organización de Código en Google Colab con Funciones y Módulos

Funciones y Buenas Prácticas en Google Colab y Python

Perspectivas de lo que viene

Fundamentos del Procesamiento del Lenguaje Natural con NLTK

Análisis de Colocaciones con NLTK y Pandas en Python

Progreso del curso

Introducción al Procesamiento de Lenguaje Natural

Fundamentos con NLTK

Perspectivas de lo que viene

Recursos

Recursos