Asi podemos sumar las probabilidades de una manera mas facil.
sum() recibe una lista como argumento
sum(initTagStateProb.values())
¿Qué es el algoritmo de Viterbi y cómo se implementa?
El algoritmo de Viterbi es un método probado y eficiente para encontrar la secuencia más probable de estados ocultos, dados un conjunto de observaciones y un modelo oculto de Markov. Es una herramienta esencial en el procesamiento del lenguaje natural, especialmente cuando se trata de tareas como el etiquetado gramatical. En esta clase, exploraremos cómo implementar este algoritmo paso a paso utilizando Python.
¿Cuáles son los ingredientes esenciales para crear el algoritmo de Viterbi?
Antes de implementar el algoritmo, necesitamos preparar ciertos componentes clave:
Matrices de probabilidad:
Distribución inicial de estados: Esta distribución representa las probabilidades iniciales para cada estado al comienzo de la secuencia.
Tokenizador: Utilizando la biblioteca NLTK y su tokenizador de palabras word_tokenize, podemos dividir una secuencia de texto en palabras individuales. Esto es esencial para que el algoritmo procese correctamente las entradas textuales.
¿Cómo configurar la función de matriz de Viterbi en Python?
La implementación de la función comienza con la creación de la estructura de la matriz y continúa con el llenado de sus elementos:
import nltk from nltk.tokenize import word_tokenize def viterbi_matrix(sequence, prob_dict_trans, prob_dict_emis, tag_state_dict, init_tag_state_prov): # Tokenizar la secuencia tokens = word_tokenize(sequence.lower()) # Crear matriz de Viterbi llena de ceros viterbi_pro = [[0] * len(tokens) for _ in range(len(tag_state_dict))] # Inicializar la primera columna for key in tag_state_dict.keys(): tag_row = tag_state_dict[key] word_tag = f"{tokens[0]}|{key}" if word_tag in prob_dict_emis: viterbi_pro[tag_row][0] = init_tag_state_prov[key] * prob_dict_emis[word_tag] # Calcular probabilidades para siguientes columnas for col in range(1, len(tokens)): for key in tag_state_dict.keys(): tag_row = tag_state_dict[key] word_tag = f"{tokens[col]}|{key}" if word_tag in prob_dict_emis: possible_props = [] for key2 in tag_state_dict.keys(): tag_row2 = tag_state_dict[key2] tag_pre_tag = f"{key2}|{key}" if tag_pre_tag in prob_dict_trans: previous_prob = viterbi_pro[tag_row2][col - 1] if previous_prob > 0: possible_props.append(previous_prob * prob_dict_trans[tag_pre_tag] * prob_dict_emis[word_tag]) viterbi_pro[tag_row][col] = max(possible_props, default=0) # Valor por defecto para evitar errores return viterbi_pro # Ejemplo de uso sequence = "El mundo es pequeño" viterbi_matrix = viterbi_matrix(sequence, prob_dict_trans, prob_dict_emis, tag_state_dict, init_tag_state_prov)
Esta función procesa una secuencia de palabras y devuelve una matriz de Viterbi completa con las probabilidades más relevantes para cada etiqueta gramatical y posición de palabra.
¿Cómo continuar con el desarrollo del algoritmo de Viterbi?
Una vez establecida la matriz inicial, podemos proceder a:
A través de este proceso, hemos logrado una comprensión más profunda de cómo implementar un modelo basado en Markov oculto en Python de manera intuitiva, conectando la teoría matemática con el código. Esto no solo nos proporciona una base sólida para construir modelos de procesamiento del lenguaje natural, sino que también nos prepara para adaptarnos a prácticas de desarrollo más avanzadas en el futuro.
¡Continúa explorando y desarrollando tus habilidades en algoritmos y modelos de lenguaje natural! Cada paso que tomes te acercará más a convertirte en un experto en el campo.
El algoritmo de Viterbi es un método probado y eficiente para encontrar la secuencia más probable de estados ocultos, dados un conjunto de observaciones y un modelo oculto de Markov. Es una herramienta esencial en el procesamiento del lenguaje natural, especialmente cuando se trata de tareas como el etiquetado gramatical. En esta clase, exploraremos cómo implementar este algoritmo paso a paso utilizando Python.
Antes de implementar el algoritmo, necesitamos preparar ciertos componentes clave:
Matrices de probabilidad:
Distribución inicial de estados: Esta distribución representa las probabilidades iniciales para cada estado al comienzo de la secuencia.
Tokenizador: Utilizando la biblioteca NLTK y su tokenizador de palabras word_tokenize, podemos dividir una secuencia de texto en palabras individuales. Esto es esencial para que el algoritmo procese correctamente las entradas textuales.
La implementación de la función comienza con la creación de la estructura de la matriz y continúa con el llenado de sus elementos:
import nltk
from nltk.tokenize import word_tokenize
def viterbi_matrix(sequence, prob_dict_trans, prob_dict_emis, tag_state_dict, init_tag_state_prov):
# Tokenizar la secuencia
tokens = word_tokenize(sequence.lower())
# Crear matriz de Viterbi llena de ceros
viterbi_pro = [[0] * len(tokens) for _ in range(len(tag_state_dict))]
# Inicializar la primera columna
for key in tag_state_dict.keys():
tag_row = tag_state_dict[key]
word_tag = f"{tokens[0]}|{key}"
if word_tag in prob_dict_emis:
viterbi_pro[tag_row][0] = init_tag_state_prov[key] * prob_dict_emis[word_tag]
# Calcular probabilidades para siguientes columnas
for col in range(1, len(tokens)):
for key in tag_state_dict.keys():
tag_row = tag_state_dict[key]
word_tag = f"{tokens[col]}|{key}"
if word_tag in prob_dict_emis:
possible_props = []
for key2 in tag_state_dict.keys():
tag_row2 = tag_state_dict[key2]
tag_pre_tag = f"{key2}|{key}"
if tag_pre_tag in prob_dict_trans:
previous_prob = viterbi_pro[tag_row2][col - 1]
if previous_prob > 0:
possible_props.append(previous_prob * prob_dict_trans[tag_pre_tag] * prob_dict_emis[word_tag])
viterbi_pro[tag_row][col] = max(possible_props, default=0) # Valor por defecto para evitar errores
return viterbi_pro
# Ejemplo de uso
sequence = "El mundo es pequeño"
viterbi_matrix = viterbi_matrix(sequence, prob_dict_trans, prob_dict_emis, tag_state_dict, init_tag_state_prov)
Esta función procesa una secuencia de palabras y devuelve una matriz de Viterbi completa con las probabilidades más relevantes para cada etiqueta gramatical y posición de palabra.
Una vez establecida la matriz inicial, podemos proceder a:
A través de este proceso, hemos logrado una comprensión más profunda de cómo implementar un modelo basado en Markov oculto en Python de manera intuitiva, conectando la teoría matemática con el código. Esto no solo nos proporciona una base sólida para construir modelos de procesamiento del lenguaje natural, sino que también nos prepara para adaptarnos a prácticas de desarrollo más avanzadas en el futuro.
¡Continúa explorando y desarrollando tus habilidades en algoritmos y modelos de lenguaje natural! Cada paso que tomes te acercará más a convertirte en un experto en el campo.
Asi podemos sumar las probabilidades de una manera mas facil.
sum() recibe una lista como argumento
sum(initTagStateProb.values())
Me apareciendo el siguiente error

Lo corregí de la siguiente manera.
viterbiProb[tag_row, col] = max(possible_probs) if possible_probs else 0
Hola, Aquí abajo dejo un buscador para palabras en el diccionario de emisión, y que se pueda comprobar con que categorías da coincidencia y cuál es que es su índice, este lo use para guiarme en la interpretación de la matriz de Viterbi.
w = 'mundo' # palabra a buscar, solo eso hay que cambiar
# iteramos las probabilidades de emision, palabras|tags
for key in emissionProbdict.keys():
# buscamos la palabra entre las keys del dic
if key[:len(w)+1].lower() == f'{w}|':
print(key, '>', tagStateDict[key.split('|')[1]], '>', emissionProbdict[key])
Increíble clase, creo que al poner directamente las formulas de probabilidad no se llega a entender tanto, pero con la aplicación en el código ya se aclaro bastante el funcionamiento del algoritmo y la interpretación de la matriz. :)
El algoritmo de Viterbi se basa en una programación dinámica que toma como entrada:
Muy bien explicado y entendible Pacho. :D
El ejercicio es muy bueno
La función debe verificar que cada pareja etiqueta-palabra exista en el diccionario de emisión, porque una frase cualquiera puede traer combinaciones que el corpus de entrenamiento nunca vio. Es el límite de los modelos por conteos y la razón para preguntarse con qué corpus se entrena según el contexto de uso.
Algoritmo de Viterbi para HMM:
La implementación del algoritmo de Viterbi es el método estándar para resolver la tarea de decodificación en un Modelo Oculto de Markov (HMM),. Su objetivo es encontrar la secuencia de estados ocultos más probable (Q) que ha generado una secuencia de observaciones (O),.
A continuación, se detalla su funcionamiento y pasos de implementación según las fuentes:
1. Estructura de Datos: La Rejilla (Trellis)
El algoritmo utiliza una técnica de programación dinámica basada en una rejilla,. Cada celda de esta rejilla, denotada como vt(j), representa la probabilidad de que el modelo se encuentre en el estado j en el tiempo t, habiendo procesado las primeras t observaciones y habiendo seguido la ruta de estados más probable hasta ese momento,.
2. Pasos de la Implementación
La ejecución formal del algoritmo se divide en tres fases principales,:
• Fase de Inicialización (t=1): Para cada estado j, se calcula el valor inicial de la celda multiplicando la probabilidad inicial del estado (πj) por la probabilidad de que ese estado genere la primera observación (bj(o1)),. Se inicializa un puntero de retroceso (backpointer) en cero para este primer paso,.
• Fase de Recursión (t de 2 a T): Para cada estado s en cada paso de tiempo, el algoritmo busca el camino más probable que llega a él desde el paso anterior,. Para calcular vt(j), se multiplican tres factores y se selecciona el máximo resultado,:
1. vt−1(i): La probabilidad de Viterbi del estado previo i.
2. aij: La probabilidad de transición del estado i al estado j.
3. bj(ot): La verosimilitud de la observación actual ot dado el estado j.
• Punteros de retroceso: Es crucial que, en cada celda, se almacene el argumento que maximiza la probabilidad (el estado previo i que resultó ganador),. Esto permite saber qué camino se eligió como el mejor para llegar a ese punto.
• Fase de Terminación: Al llegar al final de la secuencia de observaciones (T), se identifica cuál de los estados finales tiene el valor de probabilidad más alto,. Este valor representa la probabilidad de la ruta completa más probable.
3. Reconstrucción de la Secuencia (Backtrace)
A diferencia del algoritmo Forward, que solo produce un número (la probabilidad total), Viterbi debe devolver la secuencia de estados,. Para esto, se realiza un rastreo hacia atrás (backtrace) siguiendo los punteros de retroceso desde el estado final con mayor probabilidad hasta el inicio,. Este proceso reconstruye la secuencia óptima de variables ocultas,.
Diferencia Matemática Clave
La implementación de Viterbi es casi idéntica a la del algoritmo Forward, con la diferencia fundamental de que Viterbi utiliza la operación de maximización (max) en lugar de la suma (∑) para combinar las rutas previas, y añade el componente de los punteros de retroceso para la recuperación de la ruta.
El algoritmo de Viterbi busca la secuencia más probable de estados ocultos dentro de un Modelo Oculto de Markov (HMM), a partir de una serie de observaciones.
🔸 Transición: probabilidad de pasar de un estado a otro → Ejemplo: "VERB|NOUN"
🔸 Emisión: probabilidad de que un estado produzca una palabra → Ejemplo: "casa|NOUN"
📊 Filas: posibles estados (etiquetas gramaticales)
📊 Columnas: posiciones de palabras en la oración
🔢 Cada celda: probabilidad máxima de llegar a ese estado en esa posición
1️⃣ Inicialización: Solo la primera palabra → P(inicio) × P(emisión)
2️⃣ Recurrencia: Para cada palabra siguiente → máximo sobre todos los estados previos de P(previo) × P(transición) × P(emisión)
3️⃣ Terminación: Se elige el camino con la probabilidad total más alta
¿Ustedes creen que es recomendable escribir todo el codigo en un cuaderno?