Probabilidad en Machine Learning: Fuentes de Incertidumbre y Modelos

Curso de Matemáticas para Data Science: Probabilidad

Contenido del curso

Incertidumbre y probabilidad

Fundamentos de probabilidad

Distribuciones de probabilidad

MLE (Maximum Likelihood Estimation)

Inferencia bayesiana

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:009:30

Probabilidad en Machine Learning: Fuentes de Incertidumbre y Modelos

Curso de Matemáticas para Data Science: Probabilidad

Clase 2 de 17

Clase 2 / 17

Recursos

¿Cómo se aplica la probabilidad en el machine learning y la ciencia de datos?

La probabilidad, ese lenguaje matemático fascinante, se emplea intensamente en el mundo del machine learning y la ciencia de datos. Pero, ¿por qué es tan crucial? Pues bien, es que nos permite cuantificar la incertidumbre inherente a estos procesos y comprende tres fuentes principales: los datos, los atributos del modelo y el modelo en sí mismo. Cada elemento introduce su propia capa de incertidumbre en los modelos de machine learning.

¿Cuáles son las fuentes de incertidumbre?

Los datos: La recolección y medición de datos suelen ser procesos imperfectos debido a los márgenes de error inevitablemente presentes en los instrumentos de medición. Esto resulta en información incompleta e imperfecta.
Los atributos del modelo: Los modelos trabajan con un subconjunto de variables o atributos, lo cual implica una reducción de la realidad que también añade incertidumbre.
El modelo: Los modelos matemáticos son representaciones simplificadas de la realidad, lo cual significa que siempre estarán incompletas en algún nivel.

¿Cómo funcionan los modelos de clasificación?

Los modelos de clasificación en datos textuales, por ejemplo, se encargan de asignar probabilidades a diferentes categorías a las cuales puede pertenecer un documento. Al determinarse cuál categoría tiene la probabilidad más alta, el modelo realiza una predicción. Así, los clasificadores probabilísticos utilizan números para identificar la categoría más probable, mediante un procesamiento en varias etapas:

Extracción de atributos: Se determina cuáles son los elementos fundamentales del documento para predecir la categoría.
Entrenamiento supervisado: El modelo se alimenta con los atributos extraídos y las etiquetas conocidas (temas o categorías), ajustándose según la información proporcionada.
Predicción: Documentos nuevos pasan por el proceso de extracción de atributos y, luego, el modelo predice la categoría.

¿Cómo se integra la probabilidad en el entrenamiento y predicción?

En el diseño del modelo y durante su entrenamiento, no todos los modelos usan probabilidad. Sin embargo, algunos modelos específicos como Naive Bayes, sí lo hacen para asignar probabilidades a diferentes resultados posibles. Además, técnicas como la Estimación de Máxima Verosimilitud (MLE) son eminentemente probabilísticas y ayudan a seleccionar qué probabilidades asignar a los datos.

¿Qué es la calibración de hiperparámetros?

Dentro del ajuste de un modelo se encuentra la calibración de los hiperparámetros. Éstos son parámetros que no se optimizan directamente y que son cruciales para determinar cómo de bien funciona una arquitectura específica dentro de una familia de modelos. Herramientas como la optimización bayesiana son frecuentemente empleadas aquí para un ajuste más eficiente.

¿Por qué es importante la interpretación del modelo?

La fase de predicción incorpora la interpretación del modelo, que se vuelve particularmente desafiante cuando el modelo es complejo y probabilístico. Quien interprete el modelo debe poseer un entendimiento sólido del cálculo de probabilidades para obtener una interpretación correcta. Esta interpretación es vital para asegurar que el modelo cumpla con su propósito eficazmente.

En resumen, la probabilidad es una pieza fundamental que impulsa tanto la construcción como el funcionamiento de los modelos de machine learning, permitiendo manejar la incertidumbre y dándole a estas herramientas su poder predictivo y de inferencia. ¡Continúa aprendiendo para convertirte en un experto en este fascinante mundo de la ciencia de datos y el machine learning!

Miguel Angel Velazquez Romero

Hace 6 años

Probabilidad en Machine Learning

¿Cuáles son las fuentes de incertidumbre?

Datos: Debido a que nuestros instrumentos de medición tienen un margen de error, se presentan datos imperfectos e incompletos, por lo tanto hay incertidumbre en los datos.
Atributos del modelo: Son variables que representan un subconjunto reducido de toda la realidad del problema, estas variables provienen de los datos y por lo tanto presentan cierto grado de incertidumbre.
Arquitectura del modelo: Un modelo en mates es una representación simplificada de la realidad y al ser así, por construcción, induce otra capa de incertidumbre, ya que al ser una representación simplificada se considera mucho menos información.

Y claro, todo esta incertidumbre se puede cuantificar con probabilidad:

Ejemplo, un clasificador de documento de texto:

Entonces, el modelo asignara cierta probabilidad a cada documento y así de determinara la clasificación de los documentos.

Pero, ¿cómo funciona por dentro nuestro modelo de clasificación?

So, ¿En dónde se aplica la probabilidad?

Bueno, en realidad no todos los modelos probabilístico, a la hora de diseñarlo nosotros elegimos sui queremos que sea un modelo probabilístico o no.

Por ejemplo si escogemos el modelo de Naive Vayes, luego de que escogemos el diseño ahora definimos el entrenamiento y este es básicamente que el modelo aprenda el concepto de distribución de probabilidad y es una manera que yo uso para saber que probabilidades le asigno una de las posibles ocurrencias de mis datos, de ahí sirgue el esquema MLE que es el estimador de máxima verosimilitud y luego de esto esta la calibración se configuran los hiper-parámetros, esto se entiende mas en redes neuronales artificiales en donde el numero de neuronas de una capa tiene 10 neuronas y cada una tiene sus propios pesos que conectan a las neuronas, entonces esos pesos los podemos ir calibrando para que el modelo sea cada vez mas pequeño. Sin embargo, hay parámetros están fuera del modelo y no se pueden calibrar y a esos parámetros les llamamos hiper-parámetros, porque están fuera de todo ese esquema de optimización. Al final se hace la optimización de los hiper parámetros. Y al final tenemos la interpretación, para interpretar hay veces que se tiene que saber el funcionamiento del modelo y aplicar conceptos de estadística para poder interpretarlo.

Ignacio Crespo

Hace 6 años

Buen aporte👍👍

Andrés Torres Parra

Hace 6 años

gracias crack

Comentarios (65)65 comentarios

Luis Fernando Úbeda Camacho

Te quiero tio!!. Este profesor es un crack que explica conceptos difíciles como si fueran faciles. Más cursos de este crack explicando conceptos abstractos por favor!!!! :)

Sergio Rubiano

Totalmente de acuerdo, aterrizar algún tema "difícil" para que la audiencia comprenda con claridad, es algo que muy pocas personas/profesores pueden lograr.

Sabes cuál es el secreto? Que todo el tiempo estos temas fueron fáciles, pero aún no lo habías visto de eso forma.

Las mates son fáciles, tan fáciles como cualquier otro tema de cualquier índole :)

Gonzalo Ceron Denetro

Probabilidad en Machine Learning La incertidumbre en Machine Learning son:

Datos: los procesos de medición de datos son imperfectos, eso genera que haya incertidumbre.
Atributos de un modelo: un modelo de alimenta de atributos o variables que son predictores, esas variables son un subconjunto reducido del problema que queremos aplicar. Esa reducción de variables generan incertidumbre.
Arquitectura del modelo: un modelo es una representación simplificada de la realidad, por tener una simplificación hay menos información y eso genera incertidumbre. Por ejemplo Si tenemos unos documentos y queremos clasificarlos por los temas que son, tenemos que usar un clasificador probabilístico. El modelo de clasificación seria: Tenemos un documento con etiquetas que doce que tema, passa por una función que es el extractor de elementos, o sea simplifica variables, los elementos fundamentales. Luego pasa como atributos, puede ser vector. Luego se pasa como input al algoritmo de clasificación y nos da el resultado de la etiqueta. Así es el proceso de entrenamiento. Todas las etapas de un modelo de cierto modo involucran probabilidad. Antes del extractor de atributos y todo, escogemos nuestra arquitectura o diseño del modelo que vamos a usar, escogemos si usamos probabilidad o no. Definimos el entrenamiento que el modelo va aprender. El concepto de distribución de probabilidad, es para saber que probabilidades asignamos a cada una de las posibles ocurrencias de los datos. Existe el esquema MLE (Estimación de Máxima Verosimilitud) una técnica probabilística. Calibración, los hiper-parámetros escogen cual de todos las familias funciona mejor y generan el menor margen de error. Luego esta la predicción o interpretación y al final el resultado.

Excelente aporte! Me sirvió mucho la explicación del proceso de entrenamiento y clasificación del modelo :D

David Amador Morales

Gracias por el aporte.

Obed Tzay

NOTAS:

Kevin Toruño

Hace 2 meses

Tremendo aporte.

Valenttina Cardozo

¿Qué otros modelos de Machine Learning existen aparte del probabilístico?

Diego Rebolledo

¡Hola!, encontré algo de información al respecto, te dejaré un poco de lo que leí :Modelos lógicos. Funcionan a través de reglas, que conforman una base de conocimiento. Una regla se compone de un antecedente y de una consecuencia. Por ejemplo, podemos afirmar que cuando la temperatura es de 10°C, hace frío. Por lo tanto, una regla sería: A un conjunto de reglas de esta forma se le denomina base de conocimiento. Por tanto, un modelo con una base de conocimiento podría ser utilizado para realizar predicciones.

Modelos geométricos. Supone instancias con una o dos dimensiones que son representadas en un eje de coordenadas. A continuación, se busca aquella frontera lineal que las separe, permitiendo su futura predicción. Modelos probabilísticos. Estos modelos identifican la distribución de probabilidad de una función determinada que relaciona las variables predictoras con las de clase y la utiliza para realizar predicciones en el futuro. Los modelos probabilísticos y lógicos pueden ser utilizados para cualquier situación, mientras que los segundos sólo cuando se aprecia una relación lineal entre las variables predictoras, además de un número reducido de instancias.

Espero no haberte abrumado con el texto, lo obtuve de:https://www.avansis.es/inteligencia-artificial/aplicaciones-de-la-ia-machine-y-deep-learning/

Francisco Camacho

Profesor

hola Valentina, en general podemos dividir el ML en probabilistico y deterministico. En el caso del ML deterministico, tendriamos de ejemplo algoritmos como las Support vector Machines (SVM) las cuales son un ejemplo de algoritmo de clasificacion que no usa probabilidades para encontrar las categorias de clasificacion en un conjunto de datos.

Rafa Romero

Es apasionante lo que puede hacer el ML!!

Andres López

Hace 5 años

Les recomiendo este modelo donde se amplía el tema de los modelos como una forma simplificada de representar la realidad, como esta hace que dichos modelos tengan cierto margen de error y que partes los componen: https://www.youtube.com/watch?v=Sb8XVheowVQ

Usuario anónimo

User

Dotsv : El canal de Carlos Santana ... tremendo divulgador de IA

Sergio Alejandro Martínez

Gran aproximación que hace aquí el profesor de ML

Wilson Delgado

Está poderoso el curso! genial la explicación. Video para ampliar info de algoritmos de clasificación y regresión: https://www.youtube.com/watch?v=u9kchxQAelM

Josue Noha Valdivia

Probabilidad en Machine Learning Exploremos las fuentes de incertidubre en nuestros modelos:

Datos → La extracción de datos es un proceso imperfecto por lo que nos genera incertidumbre
Atributos del modelo → Son un subconjunto reducido de la realidad, que aunque elegimos estratégicamente sigue implicando una reducción de variables.
Arquitectura del modelo → representa el modelo propiamente dicho, y al ser un modelo matemático es una reducción simplificada de la realidad.

Por lo tanto: todas las etapas del modelo implican probabilidad en ciertos aspectos

Revisemos someramente las etapas del modelo

Diseño → Implica la elección de la arquitectura que puede ser probalistica o no.
Entrenamiento → Implica el uso de los parámetros elegidos para generar una predicción
Calibración → Los modelos en machine learning presentan ciertos valores (hiper-parámetros) que no se optimizan en el entrenamiento, debemn optimizarse mediante otros métodos
Interpretación de resultados → Independientemente de si el modelo es probabilistico o no, la interpretación de los resulados exige un conocimiento de probabilidades (los modelos no nos arrojan certezas)

JAVIER SANTIAGO SALGADO

¿Si yo empiezo a sobre especificar mi modelo, intentando reducir la incertidumbre, podría entrar en que mi modelo únicamente serviría para un caso puntual, es decir si por mitigar la incertidumbre al principio evaluó formas para mitigarla, en la adquisición de datos, aumentar los atributos del modelo, y detallar aun mas el modelo, caería en que haría muy especifico el modelo únicamente sirviendo para una aplicación muy especifica? Creo que es un trade-off que toca mirar mucho no solo en ML sino en la vida. (Si no fue clara la pregunta coméntame)

Carolina Coronado Alderete

Hola! si, de hecho es algo importante a tener en cuenta cuando se desarrollan estos modelos. Necesitan estar optimizados para que cumplan con la función. En caso de que lo sobre especifiques reducirás el campo de aplicación de tu modelo o empezará a dar falsos resultados. Hay que encontrar un equilibrio. :D Espero haber respondido tu pregunta

Daniel Noreña

Hola Javier. Recientemente leía que ese es uno de los principales problemas modernos de la IA, los modelos se acostumbran tanto a su data de entrenamiento que no terminan funcionando en el mundo real.

Investigando un poco encontré que existen técnicas para combatir este overfitting y que cada vez nos hacemos mejores en ello pero obviamente sacrificas precisión general, a modo personal lo veo como el negocio de un casino donde la casa pierde unas cuantas manos para ganar 10 veces mas.

Saludos.

Manuel Oviedo

Andrés David Lizarazo Becerra

Para profundizar :) : https://towardsdatascience.com/machine-learning-probability-statistics-f830f8c09326

Salvador Cardona Noriega

Entrenamiento ---> Algoritmo

Input ---> Algoritmo ---> Predicción

Daniel Andrés Giraldo Benites

🙌🏻🙌🏻🙌🏻 no podría haberlo dicho mejor

Es impresionante el aporte de Bayes al mundo, ahora entiendo por que la royal society tiene las albaceas literarias.

Excelente contenido.

el teorema de bayes permitio dar un salto en el machine learning

Sergio Emanuel Tomas

Probabilidad en machine learning

Fuentes de incertidumbre:

Datos: Recoger y hacer medición de datos es un proceso imperfecto, ya que siempre hay un margen de error.
Atributos del modelo: un modelo se alimenta con atributos, estas variables son un subconjunto reducido de toda la realidad del problema, esto representa otra capa de incertidumbre.
Arquitectura del modelo: En matemáticas un modelo es una representación simplificada de la realidad, lo que induce otra capa de incertidumbre

Estas tres fuentes son cuantificables con elementos de probabilidad, por ejemplo en un modelo de clasificación

Tu modelo tiene que clasificar a donde pertenece cada uno de los documentos que se analizan, en el cual la clasificación que tenga una probabilidad mas alta será la que se le asigne a la misma. Internamente seria a través de un aprendizaje supervisado:

Entrenamiento

Escoger el modelo que se va a usar(diseño).
Definir el entrenamiento, que aprenda la distribución de probabilidad(Entrenamiento).
Luego se calibra el modelo a través de Hiper parámetros, que son los parámetros que están por fuera del proceso de optimización del modelo.(Calibración)

Predicción:

Algunos modelos son muy complejos esto requiere muchas veces que la persona encargada de la predicción tenga un conocimiento sobre el modelo en si(Interpretación del modelo).

Julio Cesar Paz Zepeda

"En esencia, todos los modelos estan equivocados, pero algunos son útiles" - George Edward Pelham Box

Isaac Bryan Ascanoa Roncall

Hace 3 años

Me sorprende lo que puede llegar a ser la probabilidad en machine learning. No pense que se usa para la prediccion de los datos y para su entrenamiento. Si que es un proceso largo.

Jorge Levi Tapia Lugardo

Hace 2 años

📊 ¿Sabías que la probabilidad es la base de las predicciones en Machine Learning? 🤖

Cuando un modelo de Machine Learning te dice que existe un 80% de probabilidad de que llueva mañana, está usando probabilidad para manejar la incertidumbre. Esto permite a los algoritmos tomar decisiones basadas en datos, mejorando la precisión y la confiabilidad. ¡La probabilidad no solo es matemática, es la clave para que la inteligencia artificial entienda el mundo! 🌐📈

Incertidumbre y probabilidad

Fundamentos de Probabilidad para Ciencia de Datos

Probabilidad en Machine Learning: Fuentes de Incertidumbre y Modelos

Fundamentos de probabilidad

Tipos de Probabilidad: Conjunta, Marginal y Condicional

Probabilidades Condicionales y Correlación de Eventos Aleatorios

Paradojas de Probabilidad: Niño o Niña y Monty Hall

Distribuciones de probabilidad

Funciones y Distribuciones de Probabilidad en Cálculo

Distribuciones Discretas: Bernoulli y Binomial

Cálculos con Distribución Binomial en Google Colab usando Python

Análisis de Distribuciones Continuas: Enfoque en la Gaussiana

Estimación de Distribuciones de Probabilidad en Google Colab

MLE (Maximum Likelihood Estimation)

Estimación de Máxima Verosimilitud en Modelado Estadístico

Regresión Lineal con Estimación de Máxima Verosimilitud en Machine Learning

Regresión Logística y Estimación de Máxima Verosimilitud

Visualización de Máxima Verosimilitud en Regresión Logística

Inferencia bayesiana

Teorema de Bayes: Aplicación en Diagnósticos Médicos

Clasificación Bayesiana y el Algoritmo Naive Bayes

Ejercicios de Probabilidad para Ciencia de Datos

Probabilidad en Machine Learning: Fuentes de Incertidumbre y Modelos

Progreso del curso

Incertidumbre y probabilidad

Fundamentos de probabilidad

Distribuciones de probabilidad

MLE (Maximum Likelihood Estimation)

Inferencia bayesiana

Recursos

Recursos