Clasificación Bayesiana y el Algoritmo Naive Bayes

Curso de Matemáticas para Data Science: Probabilidad

Contenido del curso

Incertidumbre y probabilidad

Fundamentos de probabilidad

Distribuciones de probabilidad

MLE (Maximum Likelihood Estimation)

Inferencia bayesiana

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0010:53

Clasificación Bayesiana y el Algoritmo Naive Bayes

Curso de Matemáticas para Data Science: Probabilidad

Clase 16 de 17

Clase 16 / 17

Recursos

El teorema de Bayes no solo transforma la manera en que cuantificamos la incertidumbre, sino que también es el pilar de algunos de los algoritmos más utilizados en machine learning y ciencia de datos. Comprender cómo se conecta la optimización bayesiana con los modelos de clasificación te da una ventaja conceptual sólida para cualquier ruta profesional en datos.

¿Cuál es la diferencia entre MLE y MAP en machine learning?

En la escuela frecuentista trabajamos con el MLE (Maximum Likelihood Estimation), o estimación de máxima verosimilitud. Este enfoque busca los parámetros del modelo que maximizan la probabilidad de observar los datos dado un modelo H [00:48].

El análogo bayesiano se llama MAP (Maximum A Posteriori) [01:10]. En lugar de optimizar únicamente la verosimilitud, MAP maximiza la probabilidad posterior: dado un conjunto de datos D, ¿cuál es la probabilidad de que una hipótesis H describa esos datos?

Por el teorema de Bayes, la posterior se descompone así:

Verosimilitud: probabilidad de D dado H.
Prior: probabilidad asociada al modelo H.
Evidencia: probabilidad del conjunto de datos D.

Como la evidencia permanece constante sin importar el modelo elegido, se puede omitir del proceso de optimización [02:42]. El problema se reduce entonces a maximizar el producto de la verosimilitud por la probabilidad prior. Toda la optimización bayesiana en machine learning parte de este esquema.

¿Por qué MAP y MLE son esquemas inversos?

Con MLE obtenemos datos a partir de parámetros: buscamos qué tan probable es observar los datos si asumimos ciertos parámetros. Con MAP hacemos lo contrario: obtenemos parámetros a partir de los datos [03:22]. Ambos son válidos para optimización, pero MAP incorpora conocimiento previo a través del prior, lo que puede producir estimaciones más robustas cuando se dispone de información adicional.

¿Qué es el clasificador Naive Bayes y por qué se llama ingenuo?

Un problema de clasificación consiste en asignar un documento o dato a una categoría —deportes, videojuegos, política— eligiendo aquella con la mayor probabilidad [03:50]. Cuando este clasificador se construye bajo filosofía bayesiana, necesitamos calcular la posterior para distintas hipótesis de modelamiento.

El obstáculo principal es que la verosimilitud conjunta resulta muy difícil de calcular porque el espacio muestral es extremadamente grande [05:08]. Si no hacemos ninguna simplificación, obtenemos el llamado clasificador de Bayes óptimo (Optimal Bayes Classifier) [05:25], que ofrece la mayor precisión posible pero es computacionalmente inviable en la práctica.

¿Cómo simplifica Naive Bayes el cálculo de probabilidades?

La solución consiste en factorizar la verosimilitud como un producto de probabilidades independientes para cada punto del dataset [05:55]:

En lugar de evaluar la probabilidad conjunta de todos los datos, se calcula la probabilidad de cada observación X1, X2, …, XN de forma independiente dado el modelo H.
Esta independencia reduce drásticamente el espacio muestral.
Se itera el modelo sobre cada punto por separado.

Esta hipótesis de independencia condicional es justamente lo que da el nombre de Naive o ingenuo al clasificador [06:30]. Aunque es una simplificación fuerte, en la práctica Naive Bayes produce resultados sorprendentemente buenos en tareas como clasificación de texto.

¿Cómo se conectan estos conceptos con otros modelos de ciencia de datos?

El esquema bayesiano no se limita a clasificación. La misma lógica aplica a:

Regresión lineal: donde H corresponde a diferentes rectas con distintos parámetros.
Regresión logística: donde H son diferentes funciones sigmoides con diferentes parámetros beta.
Cualquier modelo cuyos parámetros se puedan optimizar mediante MAP [03:10].

Dominar tanto el pensamiento frecuentista como el bayesiano permite abordar la estimación de distribuciones de probabilidad desde ambas perspectivas, ya sea con MLE o MAP [07:30]. Estos fundamentos son esenciales antes de profundizar en algoritmos más avanzados de clasificación, regresión o cualquier otra tarea de aprendizaje automático.

Si lograste seguir estos conceptos, comparte tu experiencia y tus dudas en la sección de comentarios.

Jeinfferson Bernal G

Hace 4 años

Bayes en Machine Learning

En el area frecuentista se trabaja con el MLE (Estimacion de Maxima Verosimilitud), mientras que en el area bayesiana con MAP (Maximo Aposteriori). Consiste en lo siguiente:

Dado un conjunto de datos D, cual es la probabilidad de que conociendo el conjunto de datos D tenga una hipotesis h que describa D.
Por el T de Bayes tenemos que la Verosimilitud es: Cual es la probabilidad de D dado h P(D | h) por la probabilidad asociada a ese modelo h P(h) sobre las evidencias que en este caso son las probabilidades de ese conjunto de datos D, P(D)

En MLE se optimiza la Verosimilitud. En el esquema Bayesiano se optimiza la probabilidad a posteriori P(h | D). Esto se traduce en encontrar el maximo del producto de dos probabilidades.

La evidencia no se toma en cuenta porque, sin importar el modelo que estamos usando, la evidencia siempre es la misma. Ademas esto permite reducir el problema de 3 probabilidades a solo 2

En MAP lo que estamos es hallando un maximo con base a las probabilidades posteriori que es simplemente obtener unos parametros a partir de los datos y no obtener los datos a partir de parametros como en MLE

Clasificador de Naive Bayes

Este clasificador lo que hace es asignar una probabilidad de que un documento pertenezca a alguna de las categorias definidas y luego se selecciona la mayor de las probabilidades y decimos que ese documento pertences a la categoria con la mayor probabilidad.

Tambien pueden estar basados en una filosofia bayesiana. Esto implica calcular el maximo de la probabilidad posteriori que es: dado un conjunto de datos D, la probabilidad asociada de tener un modelo con unos parametros de modelamiento

max P(h | D)

Lo cual se reduce a calcular el maximo de la Verosimilitud que es: dada una hipotesis de modelamiento, la probabilidad de tener esos datos P(D | h) por la probabilidad asociada al modelo que estamos considerando P(h)

max P(h | D) = max P(D | h)*P(h)

El problema fundamental con el producto de probabilidades es que esas probabilidades son muy dificiles de calcular debido a que el espacio muestral es extremadamente grande.

Si no se considera las simplifcaciones sobre las probabilidades entonces se tiene un Clasificador Optimal Bayes. Lo ideal es llegar a un modelo con este esquema aunque en la realidad sea costoso computacionalmente

Otra manera de superar la dificultad es factorizar la similitud en probabilidades mas sencillas

P(D | h) = P({x1, x2, x3,..., xn} | h)

Esto se puede expresar como una probabilidad sobre cada punto del dataset de forma independiente (factorizar como un producto de probabilidades independientes). Esto reduce considerablemente el espacio muestral. A esta simplificacion se llama Naive Bayes

P(D | h) = P({x1, x2, x3,..., xn} | h) = P(x1 | h)*P(x2 | h)*.....*P(xn | h)

Ruddy Ramos

Hace 4 años

Gracias por el aporte.

Comentarios (53)53 comentarios

Valenttina Cardozo

Hace 6 años

Ivan Ezequiel Mazzalay

Edwin Alfonso Vargas Cubides

Josue Noha Valdivia

Sebastian Ovalle Ovalle

Hace 5 años

Eric Gabriel Martinez Labrin

Victor Muchica Farfan

Daniel Andrés Giraldo Benites

Diego Alejandro Lesmes

Wilson Delgado

Yimy Romero

David Castillo

Carlos Alfredo Chire Chanji

Francisco Javier Granados Silva

Luis Felipe García

Andrés Fernández

Jose Potes

Hace 3 años

Enzo Gonzales

Hace 2 años

angel ayala

Erick Saldaño

Skarieth Ojeda

Christian Rangel

Roberth Mafla

Martha Beatriz Espinoza Almerco

Hermes A. J. Cabrera F.

Braulio Alberto Bueno Pabon

José Indalicio Carvajal Hernández

Miguel Angel Echavarria Velez

Incertidumbre y probabilidad

Fundamentos de Probabilidad para Ciencia de Datos

Probabilidad en Machine Learning: Fuentes de Incertidumbre y Modelos

Fundamentos de probabilidad

Tipos de Probabilidad: Conjunta, Marginal y Condicional

Probabilidades Condicionales y Correlación de Eventos Aleatorios

Paradojas de Probabilidad: Niño o Niña y Monty Hall

Distribuciones de probabilidad

Funciones y Distribuciones de Probabilidad en Cálculo

Distribuciones Discretas: Bernoulli y Binomial

Cálculos con Distribución Binomial en Google Colab usando Python

Análisis de Distribuciones Continuas: Enfoque en la Gaussiana

Estimación de Distribuciones de Probabilidad en Google Colab

MLE (Maximum Likelihood Estimation)

Estimación de Máxima Verosimilitud en Modelado Estadístico

Regresión Lineal con Estimación de Máxima Verosimilitud en Machine Learning

Regresión Logística y Estimación de Máxima Verosimilitud

Visualización de Máxima Verosimilitud en Regresión Logística

Inferencia bayesiana

Teorema de Bayes: Aplicación en Diagnósticos Médicos

Clasificación Bayesiana y el Algoritmo Naive Bayes

Ejercicios de Probabilidad para Ciencia de Datos

Clasificación Bayesiana y el Algoritmo Naive Bayes

Progreso del curso

Incertidumbre y probabilidad

Fundamentos de probabilidad

Distribuciones de probabilidad

MLE (Maximum Likelihood Estimation)

Inferencia bayesiana

Recursos

Recursos