Desambiguación y etiquetado de palabras
Introducción a la desambiguación
Etiquetado rápido en Python: español e inglés
Etiquetado rápido en Python: Stanza (Stanford NLP)
Modelos Markovianos Latentes (HMM)
Cadenas de Markov
Modelos Markovianos latentes (HMM)
Entrenando un HMM
Fases de entrenamiento de un HMM
Entrenando un HMM en Python
Algoritmo de Viterbi
El algoritmo de Viterbi
Cálculo de las probabilidades de Viterbi
Carga del modelo HMM y distribución inicial
Implementación de algoritmo de Viterbi en Python
Entrenamiento directo de HMM con NLTK
Modelos Markovianos de máxima entropía (MEMM)
Modelos Markovianos de máxima entropia (MEMM)
Algoritmo de Viterbi para MEMM
Reto: construye un MEMM en Python
Clasificación de texto con NLTK
El problema general de la clasificación de texto
Tareas de clasificación con NLTK
Modelos de clasificación en Python: nombres
Modelos de clasificación en Python: documentos
Implementación de un modelo de clasificación de texto
Naive Bayes
Naive Bayes en Python: preparación de los datos
Naive Bayes en Python: construcción del modelo
Naive Bayes en Python: ejecución del modelo
Métricas para algoritmos de clasificación
Reto final: construye un modelo de sentimientos
Crea una cuenta o inicia sesión
¡Continúa aprendiendo sin ningún costo! Únete y comienza a potenciar tu carrera
Stanza es una librería excepcional desarrollada por el destacado Grupo de Investigación de Procesamiento del Lenguaje Natural de Stanford. Este recurso robusto y fácil de usar ha sido diseñado para facilitar el análisis lingüístico a través de lo último en innovación tecnológica. Aunque su utilización inicial puede parecer sencilla, detrás de cada línea de código hay un complejo sistema de procesamiento que optimiza tareas lingüísticas con precisión y eficacia.
Para comenzar a usar Stanza en Google Colab, es necesario realizar una instalación previa. A continuación, te detallamos los pasos esenciales para configurar tu entorno de trabajo de manera correcta:
Instalación de Stanza: Ejecuta el siguiente comando para instalar la librería, ya que no se encuentra preinstalada en Google Colab:
!pip install stanza
Importación y descarga del paquete en español: Una vez instalada, importa Stanza y descarga el paquete específico del idioma que vayas a utilizar (en este caso, español), usando los módulos correctos:
import stanza
stanza.download('es')
Estas acciones iniciales te permitirán utilizar las completas funcionalidades que ofrece la librería Stanza para el procesamiento del lenguaje en español.
Stanza ha implementado el concepto de pipelines para concatenar varias tareas de procesamiento del lenguaje natural. Esto facilita la ejecución de procesos complejos de una manera organizada y secuencial. A continuación, se ejemplifican los pasos básicos para crear un pipeline:
Construcción del pipeline:
Define el pipeline especificando el idioma y los procesadores necesarios para la tarea deseada. Por ejemplo:
nlp = stanza.Pipeline('es', processors='tokenize,pos')
En este caso, el pipeline realiza dos tareas: tokenización y etiquetado gramatical (POS).
Análisis de texto:
Una vez configurado el pipeline, puedes analizar cualquier string de texto. Declara tu texto de interés y procesa la información a través de la instancia creada:
doc = nlp("Yo soy una persona muy amable, ¿verdad?")
Interpretación de resultados:
Finalmente, recorre el objeto resultado para interpretar las tokens y sus respectivas etiquetas:
for sentence in doc.sentences:
for word in sentence.words:
print(word.text, word.upos)
Aquí, cada token será enumerado junto con su etiqueta correspondiente mediante el estándar UPOX, ampliamente utilizado dentro de la comunidad actual del procesamiento del lenguaje natural.
La implementación de Stanza en tus proyectos de procesamiento del lenguaje natural no solo facilitará la realización de análisis complejos sino que, además, te permitirá aprovechar tecnologías vanguardistas de una forma accesible y directa. Asimismo, contarás con el respaldo de un grupo de investigación de renombre mundial y una comunidad activa que continua desarrollando esta poderosa herramienta.
La facilidad de uso, combinada con la calidad de los algoritmos subyacentes, hace de Stanza una opción ideal tanto para principiantes como para expertos en la materia. No dudes en consultar la extensa documentación disponible en la página oficial de Stanford y en GitHub para profundizar aún más en sus potencialidades y novedades.
¡Invierte tiempo en explorar y experimentar con Stanza para fortalecer tus habilidades en procesamiento del lenguaje natural y llevar tus proyectos al próximo nivel! Continúa avanzando, pues cada descubrimiento refuerza el camino hacia la excelencia en el dominio lingüístico.
Aportes 20
Preguntas 1
información muy interesante que encontré en la documentación de stanza:
Stanza está construido con componentes de red neuronal de alta precisión que también permiten un entrenamiento y una evaluación eficientes con sus propios datos anotados. Los módulos están construidos sobre la biblioteca de PyTorch . Obtendrá un rendimiento mucho más rápido si ejecuta este sistema en una máquina habilitada para GPU.
Stanza esta disponible para las versiones de Python inferiores a la 3.8
para nov del 2021 stanza version 1.3.0 funciona bien para para python 3.9.7. saludos
Hasta el momento va bien, pude localizar unos 9 vocablos del idioma que he terminado de estudiar, y he logrado calcular la frecuencia con que se usan en un diccionario que tiene 11 mil entradas, ahora voy a hacer una referencia cruzada, voy a verificar el etiquetado de todo el léxico traducido al español y voy a revisar con que frecuencia coincide la etiqueta conocida de mi idioma de estudio con la etiqueta del idioma español, en determinados contextos. Ahora tengo que generar los contextos…
Bueno, soy experto en idiomas mesoamericanos, y gracias a este curso pude animarme a entrarle a NLTK y ya estoy obteniendo resultados sorprendentes.
Dios, cuanto valor gracias
Les comparto mi codigo hice dos pruebas una con stanza y otra con spacy stanza , con la primera uso dos ciclos for como en la clase y toma mas de dos segundos, con spacy usando un solo ciclo for toma .22 segundos, esto es muy importante ya que con textos muy grandes es importante optimizar recursos.
<import stanza
import spacy_stanza
import time
#stanza.download('es')
def run():
inicio_stanza = time.time()
nlp = stanza.Pipeline('es', processors='tokenize, pos')
doc = nlp('Yo soy una persona muy amable')
for sentence in doc.sentences:
for word in sentence.words:
print(word.text, word.pos)
fin_stanza = time.time()
print(f'tiempo de stanza: {fin_stanza-inicio_stanza} ')
print('############')
inicio_spacy = time.time()
#prueba utilizando spacy como etiquetador , esta forma es m'as rápida usa un solo for esto es importante
nlp = spacy_stanza.load_pipeline('es', processors='tokenize, pos')# si no se especifica tokenize, pos, hace todo el proceso
doc = nlp ('Yo soy una persona muy amable')
for token in doc:
print(token.text, token.pos_)
fin_spacy = time.time()
print(f'tiempo de spacy: {fin_spacy-inicio_spacy} ')
#Nota el tiempo de stanza con el doble for es de mas de 2 segundos, no se debe usar asi
#Spacy con un solo ciclo realiza el proceso en .23 segundos
if __name__ == '__main__':
run()>
Estimados, tengo un error
Y estoy trabajando con estas versiones
Súper!!!
Algunos apuntes.
https://williamcuzco.com/02-etiquetado/
Stanza es genial
En verdad es espectacular
Que interesante!
Que interesante, en verdad
![Francisco Garcia [C6]](https://static.platzi.com/media/avatars/avatars/garciafran_c845c2fe-2ea4-42db-a305-a7f4ef13b0fd.jpeg)
¿Quieres ver más aportes, preguntas y respuestas de la comunidad?