Incertidumbre y probabilidad
¿Qué es la probabilidad?
Probabilidad en machine learning
Fundamentos de probabilidad
Tipos de probabilidad
Ejemplos de cálculo de probabilidad
Ejemplos avanzados con probabilidad
Distribuciones de probabilidad
¿Qué es una distribución?
Distribuciones discretas
Usando la distribución binomial
Distribuciones continuas
¿Cómo estimar una distribución?
MLE (Maximum Likelihood Estimation)
¿Qué es MLE?
MLE en machine learning
Regresión logística
Aplicación de regresión logística
Inferencia bayesiana
Teorema de Bayes
Bayes en machine learning
Retos finales
No tienes acceso a esta clase
¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera
Aportes 36
Preguntas 12
Por si quieren profundizar mas acerca de este tema, dejo este video que está buenísimo:
https://www.youtube.com/watch?v=Dn6b9fCIUpM&ab_channel=StatQuestwithJoshStarmer
Años me hubiera tomado demostrar esto, solo lo entendia graficamente 👍 gracias totales
Hay un pequeño error en el paso donde dice que Log y e son inversas, creo hay que especificar que esa operación es inversa, el log(e), solo si se calcula el logaritmo natural osea el logaritmo en base e, porque si lo escribes solamente log se da a entender que es log base 10.
En esta clase, el profesor Francisco usa la minimización de mínimos cuadrados para estimar valores de parámetros para un modelo en el aprendizaje automático. Resulta que cuando se supone que el modelo es gaussiano, las estimaciones de MLE son equivalentes al método de mínimos cuadrados. Intuitivamente podemos interpretar la conexión entre los dos métodos entendiendo sus objetivos. Para la estimación de parámetros de mínimos cuadrados, queremos encontrar la línea que minimiza la distancia al cuadrado total entre los puntos de datos y la línea de regresión. En la estimación de máxima verosimilitud queremos maximizar la probabilidad total de los datos. Cuando se asume una distribución gaussiana, la probabilidad máxima se encuentra cuando los puntos de datos se acercan al valor medio. Dado que la distribución gaussiana es simétrica, esto equivale a minimizar la distancia entre los puntos de datos y el valor medio. Excelente clase!
Aquí mis apuntes de esta sesión:
En el minuto 6:58 es una explicación clave para entender la demostración.
Variable que es el ruido y la tendencia de la recta que se busca calcular, es equivalente a y-(mxi+b)
De modo que así puedes hacer que y-mu sea equivalente a yi-(mxi+b)
Desde mi punto de vista desde esa aclaración la demostración sale orgánicamente
Excelente clase profundiza de una manera didáctica
Estas son las clases que me gustan: pura matemática dura. Me siento como pez en el agua, en lugar de usar colab con un millón de librerías que todavía no aprendimos a usar en la ruta de aprendizaje.
El MLE consiste en ajustar a un conjunto de datos, una distribucion que describa lo mejor posible esos datos.
En ML se reduce a Ajustar densidades a datos
Se aplica a problemas supervisados como la Clasificacion o Regresion y no supervisados como la Clusterizacion.
La Regresion Lineal con MLE se reduce a lo siguiente:
Esta clase fue brutal ❤️.
ok aquí si ya comencé a valer verga 😄
Como ingeniero graduado de una universidad, aprendí de estadística en la carrera, aprendi de regresiones lineales, hice cursos de estadística en maestría y de machine learning. Es la primera vez que una clase me conecto un montón de cosas que antes tenia que dar por ciertas. Muchas gracias profesor Francisco.
Puede que sea un comentario sencillo pero tal vez a alguien le sirva. Cuando el profe pone Log en realidad en Ln, esto es por que la inversa de e es ln, logaritmo natural, ya que, ln(e) = 1, por que la base del logaritmo es el mismo e. Si lo hicieramos con Log, esto es con un logaritmo en base 10 el resultado sería Log(e) = 0.43, lo cual no permite “anular” el e dentro de la intuición.
Que geniales que so las deducciones matemáticas
Es decir, si tenemos un punto y la pendiente: tenemos la función.
y en ML, tenemos la distribución de probabilidad
Considero que hay una equivocación al explicar la solución de logaritmos de e, dado que si solo se considera log de algo es logaritmo de base 10, la connotación para logaritmo neperiano usualmente es ln. Cambien me gustaría acotar que en la penúltima linea baja toda la expresión del exponente de e y lo pone como si fuera un factor de e y dentro del logaritmo, sin embargo, lo que de verdad se aplica es la regla del sombrerito, que es convertir al exponente en un factor del logaritmo, es decir sacarlo afuera.
Lo menciono solo solo una cuestión de formas
No la inversa debiera ser el log natural (Ln), ya que el log tiene base 10 no e
Muy interesante la conexión con el método de los mínimos cuadrados! Excelente para las personas que venimos del mundo de la ingeniería sin mucho brackground en estadística.
Muy buena explicación!
Recordé esta imagen que vi en un libro ❤️
Hola a todos, realmente excelente este apartado. El profesor francisco hizo la demostración de forma clara, precisa y utilizando los conocimientos previos necesarios.
Un problema digno de una evaluación.
Magistral su explicación; muy buena la demostración que ambos términos son iguales o que son la misma cosa.
Tan sencilla que resulta la regresión lineal pero tan útil que es a la vez, que increible es ver esta equivalencia entre el MLE y los minimos cuadrados.
DIOS esta clase es preciosa.
Encontré este video que habla sobre el tema, espero sirva de algo:
https://www.youtube.com/watch?v=XepXtl9YKwc&t=10s&ab_channel=StatQuestwithJoshStarmerStatQuestwithJoshStarmer
Un saludo a todos, este tema para mi a sido complicado y me ha tomado mucho tiempo comprenderlo, logre encontrar un video que me ayudo a comprender y conectar ciertas cosas.
Les comparto el link:
https://www.youtube.com/watch?v=p59Rik4oHkQ
Espero que les sirve y ademas. les deseo buenas vibras.
Never stop learning ;3
Excelente demostración, con esto sabemos de donde salen los argumentos para resolver, muy buenos los módulos
Considero que hay un error en la equivalencia de estas dos funciones, puesto que el intercepto suele representarse por b0 y la pendiente es el b1 que acompaña al x.
Que genial demostración del minuto 6! excelente profesor
https://www.youtube.com/watch?v=e3ZJ-7QZM9I
Me parece que con este video todo queda mas claro
En el aprendizaje automático, el MLE (Maximum Likelihood Estimation)
Por ejemplo
En general, el MLE se utiliza para estimar los parámetros de un modelo en el que se conoce la distribución de probabilidad generadora de los datos, y se desea encontrar los valores de los parámetros que mejor se ajustan a esos datos. El MLE es un método popular en estadística y se utiliza en una variedad de aplicaciones en aprendizaje automático, incluyendo clasificación, regresión, y análisis de componentes principales.
La distribución Gaussiana multivariada es una generalización de la distribución Gaussiana univariada (o distribución normal) para el caso de varias variables aleatorias.
Una variable aleatoria seguirá una distribución Gaussiana multivariada si sigue una distribución normal en cada una de sus dimensiones.
La función de densidad de probabilidad de una variable aleatoria multivariada X con media mu y matriz de covarianza Sigma es:
p(x) = (2π)^(-k/2) |Sigma|^(-1/2) * exp[-(1/2)(x-mu)^T Sigma^-1 (x-mu)]
Un ejemplo de una distribución gaussiana multivariada con dos dimensiones (x1,x2) con media [2,3] y matriz de covarianza [[1,0.5],[0.5,1]] sería:
p(x) = (2π)^(-2/2) |[[1,0.5],[0.5,1]]|^(-1/2) * exp[-(1/2)([x1,x2]-[2,3])^T [[1,0.5],[0.5,1]]^-1 ([x1,x2]-[2,3])]
En este caso, la función de densidad de probabilidad estaría dada por una función de dos variables x1 y x2 y su forma gráfica sería una elipse en el espacio de dos dimensiones.
La distribución Gaussiana multivariada se utiliza en una gran variedad de aplicaciones en estadística, incluyendo el análisis de datos, la clasificación y la inferencia estadística.
En el laboratorio de Física si alguien se inventaba los datos para crear su función lineal el profe le solia cazar mirando la distribución de los errores en los datos… si no se ajustaba a una gausiana estaba suspenso aunque la ecuación lineal fuera cierta.
Ya saben, aprendar a copiar teneiendo esto en cuenta!!, es broma jajaj. Aprendan ciencia aprendan mates 😃
Que buena forma de explicar como podemos usar una regresión lineal en una distribución lineal teniendo en cuenta que el error de los datos respecto a la linea se ve como una gaussiana.
Dos cosas que hay que tener en cuenta:
Cuando se trabaja con MCO (mínimos cuadrados ordinarios) los modelos están sujetos al cumplimiento de ciertos supuestos, como homoscedasticidad (varianza de los errores (noises) no atípica), normalidad, no autocorrelación, linealidad en los parámetros (b0, b1 …bn) y forma funcional correcta. Se utiliza para datasets no muy grandes, por ejemplo una relación entre el PIB y la pobreza anual de un país, medida en una serie de tiempo, por ejemplo desde el año 2000-2021
Máxima verosimilitud nos ahorra tener que estimar supuestos y nos permite estimar modelos no lineales, por ejemplo una regresión logística o una probit, cuando la variable dependiente asume valores de 0 y 1, (1= ocurrencia de un suceso, 0 = no ocurrencia de ese suceso), y también es un método más eficiente para grandes cantidades de datos.
¿Quieres ver más aportes, preguntas y respuestas de la comunidad?
o inicia sesión.