Desambiguación y etiquetado de palabras
Introducción a la desambiguación
Etiquetado rápido en Python: español e inglés
Etiquetado rápido en Python: Stanza (Stanford NLP)
Modelos Markovianos Latentes (HMM)
Cadenas de Markov
Modelos Markovianos latentes (HMM)
Entrenando un HMM
Fases de entrenamiento de un HMM
Entrenando un HMM en Python
Algoritmo de Viterbi
El algoritmo de Viterbi
Cálculo de las probabilidades de Viterbi
Carga del modelo HMM y distribución inicial
Implementación de algoritmo de Viterbi en Python
Entrenamiento directo de HMM con NLTK
Modelos Markovianos de máxima entropía (MEMM)
Modelos Markovianos de máxima entropia (MEMM)
Algoritmo de Viterbi para MEMM
Reto: construye un MEMM en Python
Clasificación de texto con NLTK
El problema general de la clasificación de texto
Tareas de clasificación con NLTK
Modelos de clasificación en Python: nombres
Modelos de clasificación en Python: documentos
Implementación de un modelo de clasificación de texto
Naive Bayes
Naive Bayes en Python: preparación de los datos
Naive Bayes en Python: construcción del modelo
Naive Bayes en Python: ejecución del modelo
Métricas para algoritmos de clasificación
Reto final: construye un modelo de sentimientos
No tienes acceso a esta clase
¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera
Adquiere por un año todos los cursos, escuelas y certificados por un precio especial.
Antes: $249
Paga en 4 cuotas sin intereses
Termina en:
Aportes 9
Preguntas 2
para hacer un sort sobre estos diccionarios basados en los valores de las probabilidades encontradas.
# transition sorted
sorted_transitionprobs = sorted(transitionProbDict.items(), key = lambda x: x[1], reverse=True)
sorted_transitionprobs
# Emission sorted
sorted_emissionprobs = sorted(emissionProbDict.items(), key = lambda x: x[1], reverse=True)
sorted_emissionprobs
Para las personas que el transitionDict les da vacío, hay que hacer una pequeña corrección:
El profe define prevtag = None después de los dos ciclos for.
Por lo tanto cada vez que itero el valro de prevtag vuelve aser None y siempre se repite la primera iteración para el TransitionDict.
Para corregirlo hay que definir prevtag = None antes de los dos ciclos for.
Saludos.
Creo que en el cálculo de emissionProbDict la condicion del if debío ser:
if tagCountDict[tag]>0:
La ecuacion de Probabilidades de Emisión tiene un pequeño error, el numerador de la ecuacion debe ser el siguiente
C(word,tag)
en lugar de
C(word|tag)
Genial esta clase!
Código corregido
<
tag_count_dict = {}
emission_dict = {}
transition_dict = {}
tagtype = 'upos'
data_file = open('UD_Spanish-AnCora/es_ancora-ud-dev.conllu', 'r', encoding='utf-8')
prevtag = None
for tokenlist in parse_incr(data_file):
for token in tokenlist:
#C(tag)
tag = token[tagtype]
if tag in tag_count_dict.keys():
tag_count_dict[tag] += 1
else:
tag_count_dict[tag] = 1
#C(word|tag) -> probabilidades de emision
word_tag = token['form'].lower() + '|' +token[tagtype]
if word_tag in emission_dict.keys():
emission_dict[word_tag] += 1
else:
emission_dict[word_tag] = 1
# C(tag|tag_previo) -> probabilidades de transición
if prevtag is None:
prevtag = tag
continue
transitiontags = tag + '|' + prevtag
if transitiontags in transition_dict.keys():
transition_dict[transitiontags] = transition_dict[transitiontags] + 1
else:
transition_dict[transitiontags] = 1
prevtag = tag
>
Para quienes no entiendan el concepto de “El corpus”, es un conjunto de textos suficientemente grande de muestras reales de una lengua determinada.
que bien
jejejj y asi es como un modelo equivale a dos diccionarios 😃 muy bueno
![Francisco Garcia [C6]](https://static.platzi.com/media/avatars/avatars/garciafran_c845c2fe-2ea4-42db-a305-a7f4ef13b0fd.jpeg)
¿Quieres ver más aportes, preguntas y respuestas de la comunidad?
o inicia sesión.