Curvas de aprendizaje

Clase 28 de 32 • Curso de Machine Learning Aplicado con Python

Contenido del curso

Introducción al curso

1
Introducción al curso de Machine Learning Aplicado con Python
00:56 min

Cómo definir un problema de Machine Learning

El ciclo de ingeniería de Machine Learning

6
El ciclo de Machine Learning
07:33 min

Montar un ambiente de trabajo Pydata

Preparación de los datos

Modelación y evaluación

Feature Engineering

Modelos y Evaluación más avanzada

Tomar examen

Comentarios

Cristian Orozco Benjumea

student•

Un modelo simple tendrá un sesgo algo, un modelo complejo tendrá una varianza alta. Las Curvas de Validación o Curvas de Aprendizaje nos pueden ayudar a tener un mejor diagnostico de nuestro modelo para identificar en que situacion estamos y tratar de corregir eligiendo bien los parámetros o eligiendo otro modelo.

Darvin Orozco

student•

¡Excelente resumen!

Luis Alberto Ramirez Figueroa

student•

gracias!

Wilson Fernando Antury Torres

student•

Varianza alta :

Conseguir más ejemplos.
Reducir cantidad de features.
Aumentar coeficiente de regularización(alpha<) Bias Alto :
Más features.
Modelo más complejo. Mal resultado general :
probar otro algoritmo / familia de modelos, quizás las hipótesis del modelo no son cumplidas por el dataset.

Jose Daniel Delgado Ballen

student•

teoría sobre cross validation. https://www.cienciadedatos.net/documentos/30_cross-validation_oneleaveout_bootstrap

Diego Martinez

student•

Gracias :)

Julian David Orozco Colorado

student•

buen aporte

María José Medina

student•

Curva de aprendizaje Evalua como se comporta el modelo con pocos datos e ira aumentando progresivamente hasta llegar a aproximarse a la totalidad de datos. El aprendizaje se obtiene cuando el score mejora en función de la cantidad de datos. 📌 ++Nota:++ El primer valor de la curva suele ser muy errado por lo que al graficarlo puede distorsionar las escalas de la grafica. Lo recomendable es omitir este primer valor.

¿Qué nos dice la curva de aprendizaje? Nos da una visión general del estado del modelo, si se encuentra en underfitting (high bias), overfitting (high variance) o en un good fit.

¿Como solucionar el overfitting y el underfitting?

Overfitting (Varianza alta)
- Conseguir más ejemplos,
- Reducir cantidad de features,
- Aumentar coeficiente de regularización o parámetros del modelo de modo que sea más simple.
Underfitting: (Bias Alto)
- Añadir Más features,
- Considerar un odelo más complejo.

Jimmy Buriticá Londoño

student•

Un modelo simple tendrá un sesgo alto, un modelo complejo tendrá una varianza alta. Las Curvas de Validación o Curvas de Aprendizaje nos pueden ayudar a tener un mejor diagnostico de nuestro modelo para identificar en que situación estamos y tratar de corregir eligiendo bien los parámetros o eligiendo otro modelo.

Usuario anónimo

user•

Esquema de curva de aprendizaje presentado por el instructor donde se analiza las variaciones del score de validación y el score de entrenamiento y como se va dando el aprendizaje del modelo.

Cristhian Eduardo Castillo Meneses

student•

Genial el curso! Estaba aplicando los conocimientos del curso en otro proyecto y llegue a estos resultados. Realmente me parece muy extraño este tipo de resultados. Creo que se trata de overfitting pero no estoy seguro.

Uno de los problemas que tengo también es que el dataset se trata de una clasificación entre 2 posibles valores pero del valor1 tengo 1.5M millones de registros y del valor2 tengo tan solo 350. En esos casos que hay un dataset para clasificación y los valores están muy desbalanceados ¿Qué medidas se deberían tomar?

Israel Yance

student•

No es overfitting. Ese problema se le llama Class Imbalance y el ejemplo más común es el de clasificación de spam, donde 99% de mails no son spam y solo el 1% lo es.

Prácticamente sin modelar nada, poniendo a todos como 'no spam', obtenemos mayor exactitud que si aplicaramos algún módelo.

Para abordar estos problemas se usan otros indicadores basados en la matriz de confusión:

De ahí sacamos indicadores que nos ayudarán a elegir el mejor módelo:

Acá un artículo que te puede orientar: https://towardsdatascience.com/methods-for-dealing-with-imbalanced-data-5b761be45a18

Sara Yaneth Contreras Elías

student•

Cristian Orozco Benjumea

student•

Aprender: Cuando mejora el score en función de la cantidad de datos

Darvin Orozco

student•

habría que aclarar que es el Score de Test el que debe mejorar formando una asintótica respecto al score de entrenamiento. Saludos.

Usuario anónimo

user•

En resumen para tener en cuenta En un modelo simple se tiene algo de sesgo, un modelo complejo en varios casos tendra una varianza alta. Las Curvas de Validación o las Curvas de Aprendizaje pueden ayudar a lograr un mejor diagnostico del modelo seleccionado y asi alcanzar a identificar la situación que se tiene para intentar, de esta forma, la corrección, eligiendo bien los parámetros o cambiando otro modelo por otro.

John William Moreno Vergel

student•

XD men, se la pasa repitiendo lo que dicen otros o copiando y pegando código del curso, con todo respeto, no aporta nada

Dharman Ballesteros Bedoya

student•

Con la curva de validación y la curva de aprendizaje pordemos ver si nuestro modelo se encuentra en underfitting u overfitting y si tiene el entrenamiento más optimo o le faltan más datos para un mejor entrenamiento.

Cristhian Guerrero

student•

overfitting sobre ajuste y underfitting bajo ajuste

Usuario anónimo

user•

La curva de aprendizaje es asintótica lo que indica que el modelo no termina de aprender pero se esta acercando en ese proceso.

Usuario anónimo

user•

Comparto el código usado en esta sesión del análisis de la curva de aprendizaje:

# Curvas de Aprendizaje

from sklearn.model_selection import learning_curve

learning_curve(KNeighborsRegressor(n_neighbors=6),X,y,cv=5)

lcurve = learning_curve(KNeighborsRegressor(n_neighbors=6),X,y,cv=5)
samples,train,test = lcurve[0], lcurve[1],lcurve[2]

plt.plot(samples,np.mean(train,axis=1))
plt.plot(samples,np.mean(test,axis=1))

plt.plot(samples[1:],np.mean(train,axis=1)[1:])
plt.plot(samples[1:],np.mean(test,axis=1)[1:])

John William Moreno Vergel

student•

Usuario anónimo

user•

¿Que criterios emplear para lograr seleccionar el modelo de tal forma que la curva de aprendizaje alcance su objetivo más preciso sin afectarse por problemas de overfitting o underfitting, usando la cantidad de datos totales que se están estimando?

Edgar Leonardo García Zavala

student•

Tengo este problema :( Ya vi las posibles soluciones en Stack Overflow pero ninguna soluciona el error en Colab

Usuario anónimo

user•

Alguien tiene presente artículos especializados que hablen sobre los algoritmos de ML?

Usuario anónimo

user•

Sebastian en bases de datos como ieee xplore, puedes encontrar varios artículos que hablan sobre algoritmos de ML: https://ieeexplore.ieee.org/Xplore/home.jsp También en las bases de ElSevier, Springer, redalcy, Science Direct, en google academico, una revista que tiene interesantes aportes sobre ML aplicada en varios campos es https://www.journals.elsevier.com/ain-shams-engineering-journal/ En publindex puedes también buscar revistas que se dediquen principalmente a la AI en general para ampliar el campo, te dejo tambien el enlace: https://scienti.minciencias.gov.co/publindex/CerrarSession.do?path=H

Usuario anónimo

user•

Aquí también puedes encontrar material interesante de ML

http://machinelearning.mit.edu/

Jefferson Hernandez

student•

Una pregunta muchachos, alguno me puede recordar por favor, ¿Cómo me doy cuenta que tengo varianza alta o sesgo alto? Sé que en modelos simples el sesgo aumenta y en complejos la varianza aumenta pero no sé como identificar cuando mi sesgo o varianza son altos o bajos

Samuel Bustos

student•

Tengo un modelo con 0.99 de score con datos de train y 0.93 con datos de test Otro modelo tiene 0.82 de score con datos de train y 0.73 con datos de test

Es mejor elegir el primero porque da mejores resultados, a pesar de que aparentemente esta con overfitting?

Luis Alejandro Hernández Contreras

student•

NOTA TRANSCRITA DEL FINAL DEL VIDEO DEL PROFESOR: Un modelo simple, entregara un sesgo alto (bias), un modelo complejo generará una varianza alta. Diagnosticar en que parte estamos y elegir bien los parametros de nuestro modelo o elegir otro modelo es lo ideal. Ahora, para saber a donde ir, las curvas de validación y las curvas de aprendizaje nos pueden servir

# Curvas de Aprendizaje

from sklearn.model_selection import learning_curve

learning_curve(KNeighborsRegressor(n_neighbors=6),X,y,cv=5)

lcurve = learning_curve(KNeighborsRegressor(n_neighbors=6),X,y,cv=5)
samples,train,test = lcurve[0], lcurve[1],lcurve[2]

plt.plot(samples,np.mean(train,axis=1))
plt.plot(samples,np.mean(test,axis=1))

plt.plot(samples[1:],np.mean(train,axis=1)[1:])
plt.plot(samples[1:],np.mean(test,axis=1)[1:])

Curvas de aprendizaje

Introducción al curso

Introducción al curso de Machine Learning Aplicado con Python

Cómo definir un problema de Machine Learning

Importancia de definir el problema en Machine Learning

Predecir el ingreso de películas de IMDB

Terminología de Machine Learning

Materiales del curso: Notebooks de Jupyter

El ciclo de ingeniería de Machine Learning

El ciclo de Machine Learning

Montar un ambiente de trabajo Pydata

Configuración del ambiente de trabajo con Google Collab

Qué es y cómo se utiliza Numpy

Arrays en Numpy

Operaciones aritméticas en Numpy

Preparación de los datos

Cargar los datos necesarios para el proyecto

Inspección de los tipos de datos

Inspección cuantitativa y de salud de los datos

Limpiar los datos

Manejo de datos faltantes

Modelación y evaluación

El objeto estimador de Scikit-Learn

Implementar un modelo de regresión (Lasso)

Ajustando Modelos de Machine Learning, Underfitting y Overfitting

Evaluando el modelo

Feature Engineering

Feedback del modelamiento

Análisis exploratorio

Continuando con el análisis exploratorio

Creación de features

Creando más features

Selección de features y la maldición de la dimensionalidad

Modelos y Evaluación más avanzada

Cross Validation

Selección de modelos

Curvas de aprendizaje

Introducción a Ensembles y Árboles de Decisión

Random Forest y Gradient Boosting Trees

Optimización de hiperparámetros

Conclusiones del curso