Bayes en machine learning

Me encantó este curso introductorio! Es el primero que veo con Pacho y me gustó que es muy claro y conciso

MAP (Maximum a Posteriori Probability)
De la misma manera que el algoritmo MLE consiste en maximizar la probabilidad para ajustarla mejor a los datos:
P(h|D) = P(D|h)P(h)/P(D)
→ max P(h|D) = max P(D|h)P(h)
Eliminamos P(D) puesto que es el mismo valor para el conjuto de datos

Nota:

• Puesto que no podemos hallar la probabilidad de la verosimilitud de manera exacta (Lo que lllamaríamos un modelo Optimal Bayes) puesto que computacionalmente es muy complicado, simplificamos el modelo a la probabilidad de cada uno de los atributos (Modelo conocido como Naive Bayes):
  P(D|h) = P(X1,X2,…,Xn|h) = P(X1|h)P(X2|h)…P(Xn|h)

Excelente curso con un gran profesor muy didactico para explicar algunos temas que son un poco densos, y lo mejor son los ejemplos dados.
Mis felicitaciones.

Pensé en dejar de lado este curso debido a la pobre explicación de este profesor, el cual esta enfocado netamente a personas con estudios en el área. Pero agradezco que me recordó que ** en matemáticas siempre hay mas de una forma de hacer las cosas**, por eso busque otros métodos y explicaciones de lo que el decía y así logre entender de que se trata, (en si sólo me sirvieron los títulos de cada video). Recomiendo ampliamente al @team platzi, hacer este curso con lenguaje más universal para que las personas sin conocimiento previos lo entendamos, o mínimo, (como ya lo dije en varios comentarios anteriores), al empezar el curso indicar que conocimientos previos debemos tener para entender de qué habla, asi nos instruimos antes de empezar a tomarla y no sufrimos tanto en el proceso…

Sklearn y stats de python y R respecticamente permiten aplicar el clasificador de naive bayes en aprendizaje supervisado

En el siguiente video explican con otro ejemplo lo que es Naive Bayes:
https://www.youtube.com/watch?v=jS1CKhALUBQ

Revisé el video que un compañero compartió anteriormente y pude finalmente quitarme las dudas en cuanto a la resolución del ejercicio.

Aqui el video

Buenas noches

En el taller de las lecturas 6-7-8, el profesor trató de escribir las siguientes ecuaciones:

Espero contribuir. Saludos cordiales.

Tuve muchos problemas con este curso porque desconozco muchos conceptos. Sin embargo, al regresar a los primeros videos del curso, algunas cosas se vuelven mas claras. Admiro mucho el enorme conocimiento de Francisco. Es claro que entiende muy bien el tema y sabe explicarlo. Aun cuando me quedo con duda, estoy seguro que se deben mas a mi inexperiencia que a la calidad del curso.

Este video está bastante bien para una explicación detallada de la aplicación de Naive Bayes a un ejemplo de clasificación de spam mail
https://www.youtube.com/watch?v=O2L2Uv9pdDA

Aca les dejo mi resumen, es uno de los mejores hice, me tomo bastante tiempo redactarlo y buscar material de otros lugares para tener un articulo bien hecho y que rellene los huecos del curso ❤️

Buenas noches

También presento las ecuaciones de las lecturas 9-10.

Un saludo.

excelente curso, los cursos de este profesor son los mejores

Bayes en Machine Learning

En el area frecuentista se trabaja con el MLE (Estimacion de Maxima Verosimilitud), mientras que en el area bayesiana con MAP (Maximo Aposteriori). Consiste en lo siguiente:

• Dado un conjunto de datos D, cual es la probabilidad de que conociendo el conjunto de datos D tenga una hipotesis h que describa D.
• Por el T de Bayes tenemos que la Verosimilitud es: Cual es la probabilidad de D dado h P(D | h) por la probabilidad asociada a ese modelo h P(h) sobre las evidencias que en este caso son las probabilidades de ese conjunto de datos D, P(D)

• En MLE se optimiza la Verosimilitud. En el esquema Bayesiano se optimiza la probabilidad a posteriori P(h | D). Esto se traduce en encontrar el maximo del producto de dos probabilidades.

• La evidencia no se toma en cuenta porque, sin importar el modelo que estamos usando, la evidencia siempre es la misma. Ademas esto permite reducir el problema de 3 probabilidades a solo 2

En MAP lo que estamos es hallando un maximo con base a las probabilidades posteriori que es simplemente obtener unos parametros a partir de los datos y no obtener los datos a partir de parametros como en MLE

Clasificador de Naive Bayes

Este clasificador lo que hace es asignar una probabilidad de que un documento pertenezca a alguna de las categorias definidas y luego se selecciona la mayor de las probabilidades y decimos que ese documento pertences a la categoria con la mayor probabilidad.

Tambien pueden estar basados en una filosofia bayesiana. Esto implica calcular el maximo de la probabilidad posteriori que es: dado un conjunto de datos D, la probabilidad asociada de tener un modelo con unos parametros de modelamiento

max P(h | D)

Lo cual se reduce a calcular el maximo de la Verosimilitud que es: dada una hipotesis de modelamiento, la probabilidad de tener esos datos P(D | h) por la probabilidad asociada al modelo que estamos considerando P(h)

max P(h | D) = max P(D | h)*P(h)

El problema fundamental con el producto de probabilidades es que esas probabilidades son muy dificiles de calcular debido a que el espacio muestral es extremadamente grande.

Si no se considera las simplifcaciones sobre las probabilidades entonces se tiene un Clasificador Optimal Bayes. Lo ideal es llegar a un modelo con este esquema aunque en la realidad sea costoso computacionalmente

Otra manera de superar la dificultad es factorizar la similitud en probabilidades mas sencillas

P(D | h) = P({x1, x2, x3,..., xn} | h)

Esto se puede expresar como una probabilidad sobre cada punto del dataset de forma independiente (factorizar como un producto de probabilidades independientes). Esto reduce considerablemente el espacio muestral. A esta simplificacion se llama Naive Bayes

P(D | h) = P({x1, x2, x3,..., xn} | h) = P(x1 | h)*P(x2 | h)*.....*P(xn | h)

Las formulas de varios PDFs no se pueden leer. Seria bueno que los subieran otra vez 😃

Creo que necesito ver dos veces este curso. Si bien tengo conocimientos en estadística, voy a profundizar nuevamente en la parte matemática fundamental de la estadística inferencial y lo veré nuevamente, creo que es una metodología para entender a la perfección lo que se explica aquí.

De todos los profesores que he visto en Platzi, Francisco se lleva las 5 estrellas por las detalladas explicaciones y su didáctica . Me recuerda a mi estimado Profesor Clodomiro Miranda de Cálculo de Probabilidades de la UNALM. ❤️

Que curso tan interesante.
Justo lo que iba a decir… que faltaban ejercicios prácticos para aplicar lo aprendido.
Nos vemos en la próxima clase para hacerlos.
Gracias.

Muy buen curso, explica muy bien!!

Excelente curso!

Si no entendiste nada sobre esto, no te preocupes, yo no entendí ni Jota, y si me dan ganas de repetir la clase, absolutamente no.
creo sentir unas lineas mentales que se chocan al escuchar esta teoria tan compleja.
asi que, aqui hay un video(en ingles), que explica detallamente(por no decir mejor), esta teoria.
https://www.youtube.com/watch?v=jS1CKhALUBQ
en verdad, creo que la clase ha sido pobre.

Buen curso profe, terminé el curso, pero tengo que volver a repasar muchos conceptos y formulas. saludos

Excelente curso, he pasado desde stata, luego R, ahora estoy con python y creo que las bases son muy importante. aunque se llega casi al mismo fin, varia el lenguaje.

Excelente curso Francisco! y gracias a vos por compartir tus conocimientos.

muy buena explicación, lo explica de una forma muy clara.

¿Cuál es la probabilidad de obtener 2 caras o menos a partir de 3 lanzamientos de moneda (p=0.5) ?

Por alguna razón esta pregunta del examen no da por correcta la rpta 6/8.

SUPER CLARO, hay mas conceptos por supuesto, pero la base es sólida

Muy bien explicado todo, ahora a hacer los retos!

1

Es interesante el uso del teorema de bayes y como puede ser implementada en el desarrollo del curso. Ahora si entiendo estos elementos para mi avance como programador de machine learning.

Los problemas inversos son el pilar las ciencias aplicadas y los enfoques experimentales (por ejemplo, mides los resultados de un experimento y quieres obtener el modelo que describe dichas mediciones).

Obtener parámetros a partir de los datos es lo primordial de los problemas inversos y allí es donde toma importancia lo que se explica en esta clase.

Si quieren profundizar más, les recomiendo el libro “Parameter estimation and inverse problems”.

Esta es la diferencias entre la escuela frecuentista y bayesiana explicada por ChatGPT:

La estadística frecuentista se centra en la frecuencia de los datos y en la probabilidad condicional de los datos dada una hipótesis. La probabilidad frecuentista se define como la frecuencia límite de un evento en un número infinito de repeticiones de un experimento. En este enfoque, la probabilidad de un evento se considera como un valor objetivo que existe en la naturaleza, independientemente del conocimiento o creencia del observador.

Por otro lado, la estadística bayesiana se centra en la creencia del observador y en la actualización de la probabilidad de una hipótesis a medida que se obtiene nueva información. La probabilidad bayesiana se define como la medida de la creencia o confianza de un observador en una hipótesis, dado un conjunto de datos observados. En este enfoque, la probabilidad se considera como una medida subjetiva de la incertidumbre o ignorancia de un observador, que se actualiza a medida que se obtiene nueva información.

Un ejemplo de la diferencia entre estos enfoques podría ser el lanzamiento de una moneda. Supongamos que tienes una moneda que no sabes si es justa o no, y quieres estimar la probabilidad de obtener cara al lanzarla.

En el enfoque frecuentista, se realizaría un número grande de lanzamientos de la moneda y se contaría el número de veces que sale cara. La probabilidad estimada se basaría en la frecuencia relativa de las veces que sale cara en relación al número total de lanzamientos. La probabilidad se consideraría como un valor objetivo, independiente de la persona que realiza los lanzamientos.

En el enfoque bayesiano, se tendría una creencia inicial acerca de la probabilidad de obtener cara, antes de lanzar la moneda. Esta creencia se actualizaría a medida que se realizan los lanzamientos y se observan los resultados. Por ejemplo, si se cree que la probabilidad de obtener cara es del 50% antes de lanzar la moneda, y se obtienen 3 caras en 5 lanzamientos, la creencia se actualizaría y la probabilidad estimada de obtener cara podría ser mayor que el valor inicial.

En resumen, la estadística frecuentista se enfoca en la frecuencia de los datos y la probabilidad condicional, mientras que la estadística bayesiana se enfoca en la actualización de la creencia de un observador a medida que se obtiene nueva información. Ambos enfoques tienen sus propias ventajas y desventajas y se utilizan para diferentes aplicaciones en la estadística y la ciencia en general.

¡Excelente curso, contenido y catedrático!
Ojalá haya curso de redes bayesianas y de modelos de Markov.

El curso fue bueno, pero al final falto mas contexto y no se entendió muy bien, o al menos para mi.

import pickle
from sklearn.base import BaseEstimator
from scipy.sparse import issparse


class DenseTransformer(BaseEstimator):
    def __init__(self, return_copy=True):
        self.return_copy = return_copy
        self.is_fitted = False

    def transform(self, X, y=None):
        if issparse(X):
            return X.toarray()
        elif self.return_copy:
            return X.copy()
        else:
            return X

    def fit(self, X, y=None):
        self.is_fitted = True
        return self

    def fit_transform(self, X, y=None):
        return self.transform(X=X, y=y)


pipeline_gaussiano = pickle.load(open("naive_noticias_model.pickle", "rb"))

n1 = ["¿Cansado de que te roben Internet? Aqui puedes darte cuenta de quienes tienen tu wifi"]
n2 = ["Los cineastas mexicanos se unen para crear un fondo de emergencia ante la contingencia sanitaria"]
n3 = ["10 películas y series de terror en Netflix para ver este fin de semana"]
r1=pipeline_gaussiano.predict(n1)
r2=pipeline_gaussiano.predict(n2)
r3=pipeline_gaussiano.predict(n3)
print ("=====================")
print ("Noticia: " + str(n1))
print ("Categoría probable: " + str(r1))
print ("Noticia: " + str(n2))
print ("Categoría probable: " + str(r2))
print ("Noticia: " + str(n3))
print ("Categoría probable: " + str(r3))

Buen curso introductorio a la probabilidad para Machine Learning 🚀

Una explicación muy visual del teorema de Bayes:

https://www.youtube.com/watch?v=R13BD8qKeTg&t=558s

Excelente curso y profesor, nos llevo de lo sencillo a lo complejo que es la introducción a otro de los niveles de ML, me gustaron las explicaciones en el board y los ejemplos claros y como se podria aplicar, esto es muy importante para establecer de donde vienen las cosas para luego aplicarlas en una formula sencilla, ser profesionales en datos, evitar los profesionales en copy-paste formulas o notebooks
No enseño a comprender de donde vienen las cosas, es muy importante

Buen aporte, gracias.

Muy buen curso introductorio profe Francisco, ojala los proximos sean igual de buenos

Fue un curso bastante desafiante en la parte final, donde tuve que recordar varios conceptos para mantener el ritmo y excelente la forma de explicar los temas. Ya había estudiado el teorema de Bayes pero no lo había entendido de forma tan sencilla como se hizo aquí.

Muy buen curso.
Muchas gracias!

Pancho siempre excelente. Particularmente este curso tuvo videos excelentes y donde comprendí muy bien, sin embargo a medida que se avanzaba otros tenían más complicaciones. A seguir aprendiendo!

Excelente curso que me permitió repasar muchos de los conocimientos que adquirí en la universidad y sobre todo me motiva a seguir avanzando en la carrera de data Science.

Excelente curso, muchas gracias Francisco. 😃

Muy buen curso, junto con el de Calculo son mis favoritos 😄

Gracias Francisco!!