Introducción al Procesamiento de Lenguaje Natural
Introducción al Procesamiento de Lenguaje Natural
Evolución del NLP
Conceptos básicos de NLP
Fundamentos con NLTK
Configurar ambiente de trabajo
Palabras, textos y vocabularios
Tokenizacion con Expresiones Regulares
EstadÃsticas básicas del lenguaje
Distribuciónes de frecuencia de palabras
Refinamiento y visualización de cuerpos de texto
N-gramas y Colocaciones del lenguaje
¿Cómo extraer n-gramas de un texto en Python?
Colocaciones en Python
Colocaciones en gráficos de dispersión
Filtros y colocaciones en NLTK
Introducción a los recursos léxicos
Recursos léxicos en NLTK
NLTK para traducción de palabras
Introducción a WordNet
Explorando WordNet
Similitud Semantica con WordNet
Procesamiento de texto plano desde Web
Usando código estructurado: conexión de Drive a Google Colab
Usando código estructurado: Funciones externas
Perspectivas de lo que viene
Continúa con el Curso de Algoritmos de Clasificación de Texto
Aún no tienes acceso a esta clase
Crea una cuenta y continúa viendo este curso
Aportes 8
Preguntas 1
En el ejemplo me preguntaba para que calculo el objeto flatten_corpus y es que si hacen esto
finder = BigramCollocationFinder.from_words(flatten_corpus)
tambien funciona, no estoy seguro cual es exactamente la diferencia pero me gustaria una explicacion, gracias!
Seria de gran ayuda que hayan módulos en este curso, es muy bueno y ordenarlo aun mas seria lo mejor.
Esta clase está muy buena, ya vemos resultados cada vez más sorprendentes!
Pasos
Librerias
from nltk.collocations import *
Podemos hacer uso de PMI con una herramienta de NLTK
bigram_measure = nltk.collocations.BigramAssocMeasures()
Nos permite a partir de las palabras del texto usar una clase para encontrar las colocaciones
finder = BigramCollocationFinder.from_words(text1)
Un filtro de frecuencia
finder.apply_freq_filter(20)
Coloque los mejores candidatos de colocaciones
finder.nbest(bigram_measure.pmi, 10)
entrega
[('Moby', 'Dick'),
('Sperm', 'Whale'),
('White', 'Whale'),
('Right', 'Whale'),
('Captain', 'Peleg'),
(',"', 'said'),
('never', 'mind'),
('!"', 'cried'),
('no', 'means'),
('each', 'other')]
texto en español
nltk.download('cess_esp')
corpues = nltk.corpus.cess_esp.sents()
flattlen_corpus = [w for l in corpues for w in l]
print(flattlen_corpus[:10])
finder = BigramCollocationFinder.from_documents(corpues)
finder.apply_freq_filter(10)
finder.nbest(bigram_measure.pmi, 10)
entrega
[('señora', 'Aguirre'),
('secretario', 'general'),
('elecciones', 'generales'),
('campaña', 'electoral'),
('quiere', 'decir'),
('Se', 'trata'),
('segunda', 'vuelta'),
('director', 'general'),
('primer', 'ministro'),
('primer', 'lugar')]
Cabe resaltar que se tiene una función diferente dependiendo del N-GRAM
bigram_measures = nltk.collocations.BigramAssocMeasures()
trigram_measures = nltk.collocations.TrigramAssocMeasures()
fourgram_measures = nltk.collocations.QuadgramAssocMeasures()
¿Como definir el umbral de frecuencia ideal si el dataset es más grande?
Cual seria el preprocesamiento si yo quisiera trabajar por ejemplo con un documento en Latex?
@pachocamacho, vi que hay otras bigram_measures como chi_sq, phi_sq, raw_freq, etc diferentes a PMI, cuando deberia usar esas otras?
¿Quieres ver más aportes, preguntas y respuestas de la comunidad? Crea una cuenta o inicia sesión.