¿Qué es MLE? - Platzi

Curso de Matemáticas para Data Science: Probabilidad

Curso de Matemáticas para Data Science: Probabilidad

Incertidumbre y probabilidad

¿Qué es la probabilidad?

Probabilidad en machine learning

Fundamentos de probabilidad

Tipos de probabilidad

Ejemplos de cálculo de probabilidad

Ejemplos avanzados con probabilidad

Distribuciones de probabilidad

¿Qué es una distribución?

Distribuciones discretas

Usando la distribución binomial

Distribuciones continuas

¿Cómo estimar una distribución?

MLE (Maximum Likelihood Estimation)

¿Qué es MLE?

MLE en machine learning

Regresión logística

Aplicación de regresión logística

Inferencia bayesiana

Teorema de Bayes

Bayes en machine learning

Retos finales

You don't have access to this class

Keep learning! Join and start boosting your career

If you already have an account,

Resources

What is maximum likelihood estimation (MLE)?

Estimation of probability densities is a crucial part of data analysis, and maximum likelihood estimation (MLE) is a powerful technique in this area. MLE allows us to estimate these densities within a flexible and generalized framework. Here we explore the essential elements of this technique and its relevance in the context of machine learning and probabilistic analysis.

What are the steps to apply MLE?

Choosing a distribution: As in the previous methods, it is essential to choose the appropriate probability distribution for the data. For example, assuming a normal distribution when the data follow a Gaussian pattern.
Parameter selection: Once the distribution has been chosen, the next task is to determine the parameters that best fit the data. These parameters can be the mean and standard deviation in the case of a normal distribution.
Frequentist constraint: In practice, the data sample we analyze is only a partial representation of a larger, unknown population. Estimation must be performed under this constraint, which implies accepting that the distribution of our sample may differ from the actual distribution of the entire population.

How does MLE become an optimization problem?

MLE is formulated as an optimization problem in which we seek to maximize the probability that the data follow the selected distribution. The general process is:

Variable definition: 'x' represents the data, and 'θ' are the parameters of the distribution we want to fit.
Likelihood function: The probability of fitting the data to the selected distribution is denoted as 'l', and the objective is to maximize this function, finding the parameters that make this possible.
Factorization of probabilities: Often, one can decompose the joint probability of the data as the product of individual point probabilities.

Why use the logarithm in MLE?

Multiplying many small probabilities can result in underflow, where the numbers become too small to be computable by machines. To avoid this:

Use of the logarithm: The mathematical property of the logarithm turns the problem of multiplying probabilities into that of adding logarithms. This not only prevents underflow, but transforms very small numbers into large negative numbers that are more computationally tractable.

How is the log likelihood maximized?

The central problem of MLE revolves around finding the maximum of the logarithm of the likelihood function, which is equivalent to maximizing the sum of the logarithms of the individual probabilities. This approach simplifies the computational process and ensures numerical robustness.

By optimizing, the result provides us with the probability density that best fits the available data.

What's next in learning?

With a solid foundation in MLE, the next step is to apply it to specific cases. In the next class, we will explore how this technique integrates with other machine learning methods, such as linear regression, to demonstrate its effectiveness on practical data analysis problems. Stay motivated and keep delving into this fascinating field!

Contributions 44

Questions 3

Sort by:

Want to see more contributions, questions and answers from the community?

Josue Noha Valdivia

MLE (Maximum Likelihood Estimation)
O estimación de máxima verosimilitud. Consiste en escoger la distribucion que más se ajuste a nuestros datos, para ello maximizamos la probabilidad de nuesto modelo:
P(X,θ)=L(X,θ)
max L(X,θ) → maxΠP(Xi,θ)

Nota:
El producto de mútiples probabilidades (por tanto son menores a 1) genera número cada vez más pequeños al punto que no son reconocimos por la máquina, a esto se llama underflow para evitar esta situacion usamos logaritmos:

max log L(X,θ) → maxΣ log P(Xi,θ)

Jacobo Ayala Giraldo

Es tan claro que mi única pregunta es:
En qué lugar puedo conseguir el termo que el profesor mostró al principio de la clase? XD

Miguel Guillen Paz

El objetivo del MLE es encontrar la manera más óptima de encajar una distribución a los datos

Cesar Augusto Morales Godoy

Un poco para complementar:

Pablo Reyes Abarca

resumen: MLE, buscar la mejor forma de adaptar un algoritmo a una muestra, para predecir lo que sucederá con partículas que tienen comportamientos parecidos

Axel Yaguana

Platzi Team

El objetivo del MLE es encontrar la forma óptima de ajustar una distribución a los datos.

Cristian Ruben Pereyra

¿Qué es MLE?

Es un framework para estimación de densidades de probabilidades dentro de un esquema de trabajo muy general.

Escoge una distribución
Escoger los parámetros de la distribución que mejor se ajustan a la distribución a los datos

Andres López

min 0:35 -> Paranormal Distribution JAJAJA

Jeinfferson Bernal G

Estimacion de Maxima verosimilitud (MLE)

Estimar la distribucion de probabilidad de un conjunto de datos es un proceso muy importante en probabilidad.

MLE es un framework o esquema de trabajo para estimacion de densidades de probabilidad.

Elementos de MLE

Escoger la distribucion teniendo solo una muestra de los datos
Escoger los parametros de la distribucion que mejor ajustan la distribucion a los datos

Existe un problema general de MLE: los datos obedecen a una distribucion de probabilidad de una poblacion enorme, pero nunca se va a tener todo el conocimiento de esa poblacion por lo que la distribucion de probabilidad de la muestra es diferente a la de la poblacion. Esto dificulta resolver el problema general asociado a toda la poblacion generando restricciones:

Restriccion 1: escoger la Distribucion de probabilidad sobre una muestra de datos

Luego de seleccionada la muestra y la distribucion, ajustamos los parametros de la distribucion de manera que podamos encontrar la distribucion que mejor se ajuste a los datos (Es un problema de Machine Learning)

El MLE es un problema de optimizacion

Esquema de trabajo

Tenemos un conjunto de datos X y conjunto de parametros de la distribucion que queremos ajustar
Existe una probabilidad de ajustar los datos a una distribucion en concreto, lo cual genera otra distribucion de probabilidad que llamamos L

Como existen muchos conjuntos de parametros que van a permiter ajustar los datos con diferentes grados de probabilidad, se escoge aquella combinacion cuya probabilidad es la maxima posible
La distribucion de probabilidad sobre el conjunto de datos X, a veces, se puede factorizar como el productos de varias probabilidades donde cada probabilidad corresponde a cada valor de X

Cuando se factoriza las probabilidades que son numeros pequeños, se obtiene un numero cada vez mas pequeño lo cual genera un problema en las computadoras conocido como underflow
Para resolverlo, se aplica el logaritmo a las probabilidades ya que los logaritmos tienen una propiedad interesante: el logaritmo de un producto es la suma de los logaritmos. Esto convierte el problema de multiplicaciones a sumas lo cual es mas facil de computar

Finalmente se calcula el maximo del logaritmo de la verosimilitud L que es igual a calcular el maximo de sumar los logaritmos de las probabilidades individuales donde cada probabilidad corresponde a un valor de X y theta

Paredes Ruben Victor

Hola a todos le dejo esta pagina q me parecio muy interesante espero q le sirva, saludos. https://seeing-theory.brown.edu/probability-distributions/es.html

Julio Cesar Paz Zepeda

Les dejo una pagina relacionado al tema :
https://economipedia.com/definiciones/estimacion-de-maxima-verosimilitud.html

Alejandro Cuello Maure

likelihood lo podemos traducir como el encaje, es decir que tan bien podemos adaptar una distribucion de probabilidad a unos datos.

Esto con el animo de hacer mas facil hacer predicciones.

Andrés David Lizarazo Becerra

Encontré un buen artículo sobre MLE 😃 :
https://www.kdnuggets.com/2019/11/probability-learning-maximum-likelihood.html

David Andres Bautista Campos

Underflow (Precisión limite de una computadora) se soluciona utilizando aplicando el Logaritmo de la probabilidad, por la propiedad log(a*b)=log(a)+log(b), entonces se convierte las multiplicaciones en suma y los resultados de los logaritmos se convierte en números negativos relativamente grandes.

Juan Sebastián Vargas Castañeda

Si alguna duda de MLE escribí un pequeño tutorial -> Tutorial : )

alejojorgeg

¡SORPRENDIDO!

Como un problema matemático cambia por completo la eficiencia de una maquina.

user_deleted_1569411

Al margen de toda la explicación que por demás está clarísima me sorprende “el truco” (por llamarlo de forma coloquial) que se implementó con la operación de logaritmos, el ingenio es parte fundamental para resolver problemas!

Jorge Leonardo Céspedes Tapia

Un aporte más.
https://www.youtube.com/watch?v=e3ZJ-7QZM9I

Daniel Andrés Giraldo Benites

https://www.youtube.com/watch?v=XepXtl9YKwc Este video me ayudo mucho a complementar los conceptos de esta clase

Daniel David Mármol Rivero

MLE, o como lo aprendi en la universidad: ajuste de los datos a una distribución de probabilidades.

jacosta_

MLE: Un problema de optimización

Arturo Solares

Me pareció una buena explicación la de chat gpt para lograr comprender el tema desde un lenguaje y contexto más sencillo:
Imagina que tienes una bolsa de caramelos, pero no sabes qué sabores tienen. Quieres descubrir cuál es el sabor más probable basándote en los caramelos que has visto hasta ahora. La Estimación de Máxima Verosimilitud (MLE por sus siglas en inglés) es una forma de encontrar el sabor más probable basándote en los caramelos que has observado.

Supongamos que hasta ahora has visto 10 caramelos, y 7 de ellos eran de sabor fresa y 3 eran de sabor limón. Basándote en esta información, podrías pensar que el sabor más probable es fresa porque has visto más caramelos de ese sabor.

MLE utiliza una idea similar, pero con matemáticas. Examina los datos que tienes e intenta encontrar los valores que hacen que los datos observados sean los más probables de ocurrir. En nuestro ejemplo de caramelos, calcularía la probabilidad de ver 7 caramelos de fresa y 3 caramelos de limón si la bolsa tuviera diferentes proporciones de sabores.

MLE nos ayuda a estimar los valores más probables para cosas desconocidas basándonos en los datos que tenemos. Es como hacer una suposición educada utilizando matemáticas. En situaciones más complicadas, como predecir resultados futuros o comprender patrones complejos en los datos, MLE es una herramienta poderosa que ayuda a los científicos a tomar mejores decisiones y sacar conclusiones de los datos que tienen.

Recuerda, MLE se trata de encontrar la respuesta más probable basándonos en la información que tenemos. Es como usar pistas para hacer una buena suposición, al igual que cuando adivinas el sabor de un caramelo basándote en los que has visto antes.

David Rosas

MLE Maximum Likelyhood Estimation

Daniel Andres Rojas Paredes

Excelente pregunta sobre estadística y estimación de parámetros. *Parametric Estimation (Estimación Paramétrica)* Imagina que tienes un reloj con números y manecillas. El reloj tiene un mecanismo interno que sigue unas reglas específicas para mostrar la hora. De manera similar, en la estimación paramétrica, se asume que los datos siguen una distribución específica (como la normal o la binomial) con parámetros desconocidos. El objetivo es estimar esos parámetros para describir la distribución subyacente. Ventajas: - Permite hacer inferencias precisas cuando se conoce la distribución subyacente. - Es computacionalmente eficiente. Desventajas: - Requiere una suposición fuerte sobre la distribución subyacente. - Puede ser sensible a outliers o datos atípicos. *Maximum Likelihood Estimation (Máxima Verosimilitud)* Imagina que tienes un rompecabezas con piezas que no encajan perfectamente. La máxima verosimilitud es como intentar encontrar la configuración de piezas que mejor se ajuste a la imagen original. En este caso, se busca encontrar los parámetros que maximicen la probabilidad de observar los datos. Ventajas: - No requiere una suposición fuerte sobre la distribución subyacente. - Es más robusta que la estimación paramétrica en presencia de outliers o datos atípicos. Desventajas: - Puede ser computacionalmente intensiva. - Requiere una función de verosimilitud bien definida. En resumen, la estimación paramétrica es como un reloj que asume una distribución subyacente, mientras que la máxima verosimilitud es como un rompecabezas que busca encontrar la mejor configuración de parámetros sin suponer una distribución específica.

Daniel Andres Rojas Paredes

Excelente pregunta sobre estadística y estimación de parámetros. *Parametric Estimation (Estimación Paramétrica)* Imagina que tienes un reloj con números y manecillas. El reloj tiene un mecanismo interno que sigue unas reglas específicas para mostrar la hora. De manera similar, en la estimación paramétrica, se asume que los datos siguen una distribución específica (como la normal o la binomial) con parámetros desconocidos. El objetivo es estimar esos parámetros para describir la distribución subyacente. Ventajas: - Permite hacer inferencias precisas cuando se conoce la distribución subyacente. - Es computacionalmente eficiente. Desventajas: - Requiere una suposición fuerte sobre la distribución subyacente. - Puede ser sensible a outliers o datos atípicos. *Maximum Likelihood Estimation (Máxima Verosimilitud)* Imagina que tienes un rompecabezas con piezas que no encajan perfectamente. La máxima verosimilitud es como intentar encontrar la configuración de piezas que mejor se ajuste a la imagen original. En este caso, se busca encontrar los parámetros que maximicen la probabilidad de observar los datos. Ventajas: - No requiere una suposición fuerte sobre la distribución subyacente. - Es más robusta que la estimación paramétrica en presencia de outliers o datos atípicos. Desventajas: - Puede ser computacionalmente intensiva. - Requiere una función de verosimilitud bien definida. En resumen, la estimación paramétrica es como un reloj que asume una distribución subyacente, mientras que la máxima verosimilitud es como un rompecabezas que busca encontrar la mejor configuración de parámetros sin suponer una distribución específica.

Jorge Levi Tapia Lugardo

Un dato interesante sobre la **Estimación por Máxima Verosimilitud (MLE)** es que mientras más datos se tienen, mejor se vuelve la estimación de los parámetros. Esto se debe a que MLE es un **estimador consistente**, lo que significa que conforme aumenta la cantidad de datos, las estimaciones se acercan al verdadero valor de los parámetros que estás intentando encontrar. ¡Así que más datos, mejor precisión!

Jorge Miguel Diaz

Entiendo, el MLE es un problema de optimizacion en el que le aplicamos logaritmos para evitar el underflow (desbordamiento).

Neicer Vásquez

Vaya este tema si me resulto complicado entenderlo, tuve que repetir varias veces el video para entenderlo y además usar copilot para que los defina en términos más sencillos. Sin embargo, este tema me resulto basta gratificante ya que significa que puedo aprender todo si le dedico un cierto tiempo a comprenderlo y a explicarlo.

Axl Michel Madrid Rogel

Qué diferencia hay entre MLE y LS, tengo entendido que en Last squares (minimos cuadrados) lo que justo se trata, es eso, minimizar los errores al cuadrado. Entonces en MLE maximizas la probabilidad y en LS minimizas el error? o me estoy confundiendo. Ojala alguien pueda resolver mi duda. saludos!

Isaac Bryan Ascanoa Roncall

Interesante el concepto de MLE. No sabia que tiene la funcion de buscar la distribucion adecuada a los datos que poseemos. Es muy util para el desarrollo y evitar dificultades.

Juan José Mamani Tarqui

**¿Qué es MLE?** MLE son las siglas de "Maximum Likelihood Estimation", que en español significa "Estimación por Máxima Verosimilitud". Es un método de estimación utilizado en estadística y aprendizaje automático para estimar los parámetros de un modelo probabilístico. El método MLE se basa en la idea de encontrar los parámetros del modelo que hacen que la probabilidad de los datos observados sea lo más alta posible. En otras palabras, el método MLE busca los parámetros que hacen que los datos sean los más probables bajo el supuesto del modelo. El método MLE tiene varias ventajas. Es un método relativamente sencillo de implementar y es robusto a la presencia de ruido en los datos. Además, el método MLE es eficiente, lo que significa que converge rápidamente a la estimación del parámetro real. El método MLE se utiliza en una amplia gama de aplicaciones, como la estimación de la media y la varianza de una distribución normal, la estimación de la probabilidad de éxito de un experimento binomial, y la estimación de los parámetros de un modelo de aprendizaje automático. En el contexto de data science, el método MLE se utiliza para: * Estimar los parámetros de un modelo estadístico. Por ejemplo, se puede utilizar para estimar la media y la varianza de una distribución normal a partir de un conjunto de datos. * Desarrollar modelos de aprendizaje automático. Por ejemplo, se puede utilizar para estimar los parámetros de un modelo de regresión logística a partir de un conjunto de datos de entrenamiento. El método MLE es una herramienta poderosa que se puede utilizar para una variedad de tareas en data science.

Juan José Mamani Tarqui

**MLE son las siglas de "Maximum Likelihood Estimation"** en inglés, que se traduce al español como "Estimación de Máxima Verosimilitud". La Estimación de Máxima Verosimilitud es un método utilizado en estadísticas y aprendizaje automático para estimar los parámetros de un modelo estadístico. En el contexto de la Estimación de Máxima Verosimilitud, se busca encontrar los valores de los parámetros de un modelo que maximizan la función de verosimilitud, la cual mide la probabilidad de observar los datos dados esos parámetros. En otras palabras, se busca encontrar los valores de los parámetros que hacen que los datos observados sean más probables bajo el modelo. La Estimación de Máxima Verosimilitud es un enfoque ampliamente utilizado en diversos campos, como la estadística, la econometría y el aprendizaje automático. Se utiliza para ajustar modelos a datos observados y es fundamental en la inferencia estadística. La técnica se basa en la idea de encontrar los valores de los parámetros que hacen que los datos observados sean más verosímiles, es decir, más probables bajo el modelo asumido.

Iván Roberto Rivas Celeita

Si tienen oportunidad de ver las enseñanzas de Gabriel Gomila de Machine Learning, háganlo.

jose juan martinez

algo no me agrada los slides porque para sacar el max o min mejor se debería poner d/duk (cualquier numero de parámetro),
ademas que máximo o mínimo se calcula al final después de haber puesto el logaritmo

Alberto Duque Villegas

El problema general de encontrar la densidad de probabilidad que mejor ajusta a un conjunto de datos (usando MLE):

Donde X es un conjunto de datos y theta son los parámetros disponibles
La probabilidad equivale a la verosimilitud (L)
La máxima verosimilitud implica la multiplicación de probabilidades de diferentes data points (i) de todo el conjunto de datos
Al multiplicar probabilidades (números muy pequeños) el producto es cada vez más pequeño, de manera que podría ser inaccesible para la computación (underflow).
Lo anterior se resuelve aplicando el logaritmo de las probabilidades en vez de las probabilidades, porque el logaritmo de un producto es la suma de los logaritmos (lo cual convierte los números pequeños de las probabilidades en números negativos que la computación sí puede sumar).

Andres Sanchez

11. ¿Qué es MLE?

MLE

Una framework para estimación de densidades de probabilidad.

Elementos de MLE

Escoger la distribución:

Teniendo solo una muestra de los datos.
Escoger los parámetros de la distribución:

Que mejora, ajustan la distribución a los datos.

Naren Fragozo

En resumen

MLE encuentra los mejores valores para los parámetros de una función de densidad de probabilidad que maximizan la probabilidad de observar los datos que tenemos. Nos ayuda a ajustar nuestros modelos estadísticos a los datos y a realizar inferencias o predicciones basadas en esa distribución.

José Pablo Cabrera Romo

En el MLE (Maximum Likelihood Estimation) se suele utilizar el logaritmo natural de la función de verosimilitud para evitar problemas de underflow debido al Epsilon Machine, que es el menor número positivo que puede ser representado por una computadora.

Cuando se calculan las probabilidades conjuntas de observar los datos, estas suelen ser multiplicadas entre sí para obtener la verosimilitud total. Sin embargo, cuando se tienen muchos datos o probabilidades muy pequeñas, el resultado de estas multiplicaciones puede ser demasiado pequeño para ser representado por una computadora, lo que resulta en underflow.

Por lo tanto, para evitar este problema, se utiliza el logaritmo natural de la verosimilitud, lo que permite convertir las multiplicaciones en sumas. De esta manera, se evita el underflow y se pueden hacer cálculos numéricos más estables.

Si alguien quiere saber más sobre el "underflow " le sugiero consultar los siguientes documentos:

“The IEEE standard for floating-point arithmetic” de David Goldberg (IEEE Computer, 1991).
“What every computer scientist should know about floating-point arithmetic” de David Goldberg (ACM Computing Surveys, 1991).
“The limits of floating-point precision” de Nicholas J. Higham (SIAM News, 2002).

Videl Chavez Benavente

Creo que es importante saber hasta este punto los tipos de sistemas de Machine Learning.
Tipos de Sistemas de Machine Learning
Hay diferentes tipos de sistemas de Machine Learning. Podemos dividirlos en categorías dependiendo si:
Han sido capacitados con humanos o no

Supervisado
En este tipo de sistema de Machine Learning los datos con que tu alimentas el algoritmo, con la solución deseada, son referidos como “labels” (etiquetas).
Sin supervisión
Semi-supervisado
Machine Learning de Refuerzo
Si pueden aprender de forma incrementada
**Si pueden trabajar simplemente combinando nuevos puntos de datos, o si pueden detectar nuevos patrones en los datos, y luego construirán un modelo
**
Fuente: Guía Paso a Paso Para Implementar
Algoritmos De Machine Learning Con Python

JHON FREDDY TAVERA BLANDON

MLE es el acrónimo de Maximum Likelihood Estimation (Estimación de Máxima Verosimilitud en español). Es un método para estimar los parámetros de una distribución de probabilidad a partir de un conjunto de datos. El objetivo del MLE es encontrar los valores de los parámetros que maximizan la probabilidad de los datos dados esos parámetros.🤔👩‍🏫

La idea detrás del MLE es que, si se tiene una muestra de datos generada por un proceso aleatorio con una cierta distribución de probabilidad, entonces la probabilidad de obtener esa muestra específica es máxima cuando los parámetros de la distribución son los valores verdaderos.
Para estimar los parámetros de una distribución de probabilidad utilizando el MLE, se debe calcular la función de verosimilitud de los datos. La función de verosimilitud es una función matemática que describe la probabilidad de obtener los datos dados los parámetros de la distribución. El objetivo es encontrar los valores de los parámetros que maximizan la función de verosimilitud.
Una vez encontrados los valores que maximizan la función de verosimilitud, se consideran los mejores estimadores de los parámetros verdaderos. El MLE es un método muy utilizado en estadísticas y tiene una gran variedad de aplicaciones en diferentes campos, como la economía, la medicina, la psicología, la ingeniería y las ciencias sociales.

Dante Mazzini

Faltan las minúsculas a la derecha de las formulas del MLE para valores individuales, conceptualmente flojo una vez mas.

Hugo Montoya Diaz

Maximum-likelihood-estimation-for-optional-models-Where-n-6070-is-the-sample-size_Q640.jpg

David Rosas

Elementos de MLE: Escoger distribucion & Escoger parametros de distribucion

Marcelo Sánchez

Muy buena esta clase, voy a seguir investigando sobre el MLE