Desambiguación y etiquetado de palabras
Introducción a la desambiguación
Etiquetado rápido en Python: español e inglés
Etiquetado rápido en Python: Stanza (Stanford NLP)
Modelos Markovianos Latentes (HMM)
Cadenas de Markov
Modelos Markovianos latentes (HMM)
Entrenando un HMM
Fases de entrenamiento de un HMM
Entrenando un HMM en Python
Algoritmo de Viterbi
El algoritmo de Viterbi
Cálculo de las probabilidades de Viterbi
Carga del modelo HMM y distribución inicial
Implementación de algoritmo de Viterbi en Python
Entrenamiento directo de HMM con NLTK
Modelos Markovianos de máxima entropía (MEMM)
Modelos Markovianos de máxima entropia (MEMM)
Algoritmo de Viterbi para MEMM
Reto: construye un MEMM en Python
Clasificación de texto con NLTK
El problema general de la clasificación de texto
Tareas de clasificación con NLTK
Modelos de clasificación en Python: nombres
Modelos de clasificación en Python: documentos
Implementación de un modelo de clasificación de texto
Naive Bayes
Naive Bayes en Python: preparación de los datos
Naive Bayes en Python: construcción del modelo
Naive Bayes en Python: ejecución del modelo
Métricas para algoritmos de clasificación
Reto final: construye un modelo de sentimientos
Create an account or log in
Keep learning for free! Join and start boosting your career
Markov chains are a key tool in mathematical modeling that allows us to understand how certain events happen sequentially and probabilistically over time. They are fundamental for several models, including word labelers in natural language processing. An essential aspect of Markov chains is their ability to predict the next state based solely on the current state, regardless of how it arrived at that state.
State transition matrix: This is the core of Markov chains. Each element of the matrix represents the transition probability between different states. Imagine we want to predict the weather: if it is warm today, what is the probability that it will be cold or warm tomorrow?
In itia l State | Next State | Cold | Ho t | Warm | Warm || -----------------------------------|------|-- ---- ----|-------|| Cold | | | | | H ot | | | | | Warm | | | | Warm | | | | Warm | | | | Warm | | Warm | | | Warm | | Warm | | Warm | | Warm | |
Probability distribution vector: This vector represents the probabilities of finding the system in each of the states initially. For example, today there may be a 40% chance that it will be cold, a 20% chance that it will be hot, and a 40% chance that it will be warm.
Defining transition probabilities is crucial to creating an accurate Markov chain. Consider a sequence of weather observed over five days: cold, cold, warm, warm, warm, warm. To calculate the probability of certain transitions, such as going from warm to hot, you use concepts such as conditional probability. It is observed how many times the specific transition occurs over the total number of possible days.
To construct the transition matrix, place the possible states (cold, hot, warm) in the rows and columns. Each position in the matrix indicates the probability of transition from one state to another. Use previous observations and calculations to fill each position.
The latent Markov model, known as Hidden Markov Model (HMM), is an extension of Markov chains. This model introduces hidden sequences that are not directly observable. For example, in a text labeling process, the visible sequence could be "Peter is an engineer", while the hidden or latent sequence would be "noun verb noun". The goal of the HMM is to discover or infer this hidden sequence from observable data.
By multiplying the transition matrix by the initial vector of probabilities, probabilities for future states can be calculated. For example, if today the probabilities are 40% cold, 20% hot and 40% warm, after applying the transition matrix, those probabilities change for the next day. This is a fundamental process in predictive modeling and is used in areas such as climate modeling and state prediction in dynamical systems.
Markov chains and latent Markovian models are essential in the field of machine learning for processing temporal sequences. They allow inferences and predictions to be made based on a set of observable data. This is particularly useful in natural language models, DNA sequence analysis and more.
Finally, understanding Markov chains and their applications opens up a range of opportunities in predictive analytics and modeling of complex systems. Let's explore more and continue to discover the potential of these models in our next lessons - the learning never stops!
Contributions 15
Questions 1
Se ve genial el punto en donde da la explicación del uso de los modelos Markovianos en el etiquetado de palabras. Algo que encontré y me sirvió mucho es la siguiente definición.
La cadena de Markov es una serie de eventos, en la que la probabilidad de que ocurra un evento depende del evento anterior. Este tipo de cadenas tienen memoria.
Increible como se puede explicar algo que parece bastante complejo a primera vista de una manera tan sencilla. Increíble profesor!!!
import numpy as np
def probabilities(vec:list , ev_a: str, ev_b: str):
n = len(vec) - 1
i = [idx for idx, val in enumerate(vec) if val == ev_a]
num = len([count for count, val in enumerate(i) if val+1 < len(vec) and vec[val+1] == ev_b])
p_num = num/n
den = len([count for count, val in enumerate(i) if val < len(vec)-1])
p_den = den/n
return p_num / p_den
def matriz_trans(dic: dict, vec: list):
res = []
for k, v in dic.items():
res.append([probabilities(vec, k, key) for key in dic.keys()])
res_out = np.array(res)
return res_out
def pi_1(pi_0: list, matrix: np.array):
return pi_0 @ matrix
pi_1([0.4,0.2,0.4], matriz_trans(dict_day_temp, h0))
array([0.2, 0.6, 0.2])
Me parece que hay alguna clase de error con la notación y/o uso de las fórmulas en esta clase. La razón es la siguiente:
Para obtener la matriz de transicición el profesor usa la fórmula de probabilidad condicional, que dice P(A | B) = P(B,A)/P(B), donde además sabemos por teoría que P(A,B)= P(B, A) (Notar que eso se usa para demostrar el teorema de Bayes). Si fuera el caso de que realmente debemos usar la fórmula de probabilidad condicional para obtener la matriz de transición, entonces debería cumplirse siempre que P(3,2)= P(2, 3), lo cual no es cierto según lo que desarrolla el profesor [P(3,2) = 1/5 y P(2,3) = 0].
Encontré una forma más intuitiva de entender esto acorde con la teoría standard en estadística por medio de esta fuente: https://towardsdatascience.com/time-series-data-markov-transition-matrices-7060771e362b
Salu2!
Amigos de master recomiendo antes de tomar este curso haberse visto el de Matemáticas para DS: Probabilidad, también dicatado por Francisco https://platzi.com/clases/ds-probabilidad/
Hola Francisco en el podcast hablaste sobre la importancia de usar docker como harías para crear tus proyectos con contenedores de una manera sencilla
El concepto de caena markoviana también se utiliza en el aprendizaje no supervisado por reforzamiento, específicamente el q-learning,
es posible que pueda usar modelos parecidos a los de markov, en el caso que quiera anticipar la probabilidad que el idioma que estudio, tenga la misma etiqueta que el idioma con que lo traduzco… se ve bien, a donde me ha llevado todo esto
Efectivamente, cuando construye la Matriz de Transición de Estados en el minuto 5:58, el valor de C_3,1 es 1 (como dice el profesor) y no 1/2 (como lo muestra el video).
En este sentido, la respuesta correcta de las probabilidades resultantes del día siguiente son [0.2, 0.6, 0.4] y NO [0.2, 0.6, 0.2]como aparece en el video.
que bien
Esta clase estuve genial, ver como eventos previos pueden ser estimados a través de una secuencia me recuerda a las máquinas de estados vistas en los conceptos básicos de la electrónica digital.
![Francisco Garcia [C6]](https://static.platzi.com/media/avatars/avatars/garciafran_c845c2fe-2ea4-42db-a305-a7f4ef13b0fd.jpeg)
Want to see more contributions, questions and answers from the community?