Visualización de Colocaciones en Textos con Pandas y Plotly

Curso de Fundamentos de Procesamiento de Lenguaje Natural con Python y NLTK

Contenido del curso

Introducción al Procesamiento de Lenguaje Natural

Fundamentos con NLTK

Perspectivas de lo que viene

24
Fundamentos del Procesamiento del Lenguaje Natural con NLTK
03:16 min

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:009:19

Visualización de Colocaciones en Textos con Pandas y Plotly

Curso de Fundamentos de Procesamiento de Lenguaje Natural con Python y NLTK

Clase 13 de 24

Clase 13 / 24

Recursos

¿Cómo crear visualizaciones interactivas de Bigramas con Plotly?

La visualización de datos es una herramienta poderosa para analizar información textual y encontrar patrones ocultos. En este contenido exploraremos cómo construir gráficos interactivos que nos ayuden a identificar las colocaciones de lenguaje en un texto utilizando librerías en Python, como Pandas y Plotly.

¿Qué es el PMI y cómo afecta la interpretación de los Bigramas?

Cuando analizamos Bigramas en un texto, el PMI (Pointwise Mutual Information) nos ayuda a determinar la correlación entre dos palabras. Sin embargo, un alto valor de PMI no siempre indica una colocación significativa si la frecuencia del Bigrama es baja. Por tanto, es crucial considerar tanto el PMI como la frecuencia de aparición al interpretar los Bigramas.

¿Por qué es importante escalar los datos con logaritmos?

Para representar correctamente los datos en un gráfico, es esencial escalar las variables de manera adecuada. Utilizando el logaritmo en la frecuencia de aparición de los Bigramas, armonizamos la escala con el PMI, que ya es un resultado logarítmico. Esto es crucial para evitar distorsiones en la visualización y permitir una comparación justa entre las variables.

¿Cómo se construye un gráfico de dispersión con Plotly Express?

La librería Plotly Express simplifica la creación de gráficos interactivos en Python. A continuación, se muestra cómo implementar un gráfico de dispersión que ilustra los valores de PMI y la frecuencia de Bigramas:

import pandas as pd
import plotly.express as px
import numpy as np

# Supongamos que df es nuestro DataFrame ya preparado.
# Añadimos el logaritmo de la frecuencia de aparición del bigrama.
df['log_bigram_freq'] = np.log(df['bigram_frequency'])

# Creamos el gráfico de dispersión
fig = px.scatter(df, 
                 x='PMI', 
                 y='log_bigram_freq', 
                 hover_name='bigrams', 
                 color=df['PMI'] + df['log_bigram_freq'], 
                 width=600, 
                 height=600, 
                 labels={'x': 'PMI', 'y': 'Logaritmo de Frecuencia del Bigrama'})

# Mostramos el gráfico
fig.show()

¿Cómo interpretar los gráficos de colocaciones?

Al visualizar nuestro gráfico, buscamos identificar las colocaciones más significativas: Bigramas con valores de PMI moderadamente altos y logaritmo de frecuencia elevados. Las colocaciones suelen ser términos que, aunque frecuentes, aportan significado o contexto dentro del texto. Por ejemplo, en la novela "Moby Dick", términos como "Moby Dick" o "white whale" son relevantes debido a su alta frecuencia y significado contextual en la obra.

¿Qué importancia tienen las colocaciones en el análisis del lenguaje?

Las colocaciones son fundamentales para resaltar entidades importantes en un texto como personajes, lugares u objetos significativos. Este análisis es vital no solo en estudios literarios, sino también en cualquier campo que beneficie del procesamiento del lenguaje natural, ayudando a contextualizar y enriquecer la comprensión del contenido.

Con estas herramientas y técnicas, puedes comenzar a explorar la profundidad de cualquier texto con confianza y creatividad. Sigue adelante y sigue explorando las posibilidades que el análisis de Bigramas ofrece para el entendimiento integral de los datos textuales.

Oscar Eduardo Palomino Cárdenas

Hace 6 años

Nos encontramos con un pequeño obstaculo. Hay PMIs cercanos a cero que la frecuencia del bigrama es 1, o sea que aparecen una sola vez en el texto, esto no es bueno, porque podemos encontrar bigramas con más frecuencia de repetición. Para poder identificar colocaciones de lenguaje no solo debemos considerar la métrica del PMI, sino también la frecuencia del n-grama en sí mismo, para lo cual nos sugiere que debemos considerar 2 métricas, la frecuencia del bigrama en sí y la métrica PMI.

Creamos una nueva columna que contenga el logaritmo de la frecuencia de los bigramas.

df['PMI'] = df[['bigram_freq','word_0_freq','word_1_freq']].apply(lambda x: np.log2(x.values[0]/(x.values[1]*x.values[2])), axis = 1)
df['log_bigram_freq'] = df['bigram_freq'].apply(lambda x: np.log2(x))
df
"""
    bi-grams 	            word_0 	    word_1 	        bigram_freq 	word_0_freq 	word_1_freq 	PMI 	        log_bigram_freq
0 	(and, prophesies) 	    and 	    prophesies      1 	            6024 	        1 	            -12.556506 	    0.000000
1 	(lesson, which) 	    lesson 	    which 	        1 	            12 	            640 	        -12.906891 	    0.000000
2 	(not, unshunned) 	    not 	    unshunned 	    1 	            1103 	        1 	            -10.107217 	    0.000000
3 	(this, soliloquizer) 	this 	    soliloquizer 	1 	            1280 	        1 	            -10.321928 	    0.000000
4 	(the, precise) 	        the      	precise 	    11 	            13721 	        19 	            -14.532594 	    3.459432
"""

En el DF aplicamos el logaritmo sobre la frecuencia de aparición de la frecuencia de los bigramas, ¿Por qué hacemos esto? Porque el PMI en sí mismo ya es un valor que es el resultado de un logaritmo, y para que las 2 variables tengan la misma escala en el gráfico y el gráfico no se vea distorcionado es conveniente también aplicar logaritmo sobre la variable.

Librería Plotly interactiva

Esta librería es extremadamente poderosa, pues, ofrece la posibilidad de crear gráficos interáctivos, en este caso, la librería nos ofrece la oportunidad de identificar las colocaciones dentro del libro Moby Dick.

fig = px.scatter(x = df['PMI'].values, 
                 y = df['log_bigram_freq'], 
                 color = df['PMI']+df['log_bigram_freq'], 
                 hover_name = df['bi-grams'].values, 
                 width = 600, 
                 height = 600, 
                 labels= {'x':'PMI', 'y':'log (Bigram frequencies)'})
fig.show()

Podemos ver que la colocación más evidente es Moby Dick, y tiene total sentido, pues es el título del libro y uno de los personajes importantes, y más específicamente porque es un bigrama con una frecuencia de uso inusualmente alta en el lenguaje general. Las colocaciones sirven para identificar entonces, personas, lugares importantes para este caso literario identificar nombres propios, objetos y de esta manera empezar a asignar cierto tipo de etiquetas a palabras o expresiones que nos pueden dar información de elementos cruciales en el entendimiento del texto en sí mismo.

Comentarios (25)25 comentarios

Augusto Gonzalez

Edward Toledo López

Rocio Calderon Hernandez

Alberto Perdomo

Francisco Camacho

Profesor

Alejandro Sánchez Yalí

Leidy Lorena Duarte Babativa

Hace 4 años

Franco Manca

Jesus Alberto Ortega Lopez

LUIS ALBERTO GIRALDO POLANIA

David Pinchao

Cristhian Marcelo González

Fredy Alberto Orozco Loaiza

Hace 5 años

Gabriel Missael Barco

Jose de Jesus Herrera Ledon

Geraldine León

Marcelo Sánchez

Gabriel Obregón

Hace un año

Jhon Freddy Tavera Blandon

Hace 2 años

Duilio Sotelo

Hace 3 años

Norberto Iván Tolaba

Sebastian CONTRERAS

Introducción al Procesamiento de Lenguaje Natural

Fundamentos del Procesamiento de Lenguaje Natural con Python y NLTK

Evolución y Técnicas del Procesamiento del Lenguaje Natural

Procesamiento del Lenguaje Natural con Python y NLTK

Fundamentos con NLTK

Procesamiento de Lenguaje Natural con Python en Google Colab

Expresiones Regulares en Python: Patrones de Búsqueda Avanzados

Tokenización de Texto con Expresiones Regulares en Python

Estadística para Procesamiento del Lenguaje: Riqueza Léxica y Métricas

Cálculo de frecuencias con NLTK y diccionarios en Python

Filtrado y Visualización de Frecuencias de Palabras con NLTK y NumPy

Estadísticas de Ennegramas y Colocaciones en Textos

Extracción de Ngramas y Bigramas con NLTK en Python

Análisis de Colocaciones con NLTK y Pandas en Python

Visualización de Colocaciones en Textos con Pandas y Plotly

Identificación de Colocaciones en Textos con NLTK y PMI

Recursos Léxicos: Uso y Aplicación en Procesamiento del Lenguaje

Recursos Léxicos en Python: Vocabularios, Frecuencias y Stopwords

Traducción de palabras con Swadesh en procesamiento de lenguaje natural

Uso de WarNet para Procesamiento del Lenguaje Natural

Análisis de Sinsets e Hipónimos con NLTK y WordNet en Google Colab

Medición de Similitud Semántica con WordNet en Python

Extracción y Procesamiento de Texto desde Páginas Web con NLTK

Organización de Código en Google Colab con Funciones y Módulos

Funciones y Buenas Prácticas en Google Colab y Python

Perspectivas de lo que viene

Fundamentos del Procesamiento del Lenguaje Natural con NLTK

Visualización de Colocaciones en Textos con Pandas y Plotly

Progreso del curso

Introducción al Procesamiento de Lenguaje Natural

Fundamentos con NLTK

Perspectivas de lo que viene

Recursos

Recursos