Optimización de hiperparámetros

Clase 31 de 32 • Curso de Machine Learning Aplicado con Python

Contenido del curso

Introducción al curso

1
Introducción al curso de Machine Learning Aplicado con Python
00:56 min

Cómo definir un problema de Machine Learning

El ciclo de ingeniería de Machine Learning

6
El ciclo de Machine Learning
07:33 min

Montar un ambiente de trabajo Pydata

Preparación de los datos

Modelación y evaluación

Feature Engineering

Modelos y Evaluación más avanzada

Tomar examen

Usuario anónimo

user•

Comaparto el código completo de Optimización de Hiperparámetros trabajado en esta sesión de clase:

# Optimización de hiperparámetros

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X,y,random_state=1)

from sklearn.model_selection import GridSearchCV
param_test1 = {'n_estimators':range(20,501,20)}

list(param_test1['n_estimators'])

estimator = GradientBoostingRegressor(learning_rate=0.1, 
                                       min_samples_split=500,
                                       min_samples_leaf=50,
                                       max_depth=8,
                                       max_features='sqrt',
                                       subsample=0.8,
                                       random_state=10)

gsearch1 = GridSearchCV(estimator, 
                        param_grid = param_test1, 
                        scoring='r2', 
                        cv=5, return_train_score = True)

gsearch1.fit(X_train,y_train)

gsearch1.cv_results_, gsearch1.best_params_, gsearch1.best_score_

gsearch1.best_estimator_

final_results = cross_validate(gsearch1.best_estimator_,X_train,y_train,return_train_score = True)

test_scores = final_results['test_score']
train_scores = final_results['train_score']
print(np.mean(train_scores))
print(np.mean(test_scores))

estimator = GradientBoostingRegressor(learning_rate=0.1, 
                                       min_samples_split=500,
                                       min_samples_leaf=50,
                                       max_depth=8,
                                       max_features='sqrt',
                                       subsample=0.8,
                                       random_state=10, n_estimators = 240)

estimator.fit(X_train,y_train)

estimator.score(X_test,y_test)

Otro cambio que hice es agregar la visualización de todos los parámetros así:

gsearch1.cv_results_, gsearch1.best_params_, gsearch1.best_score_

Carlos Alberto Tapia Agámez

student•

Excelente aporte

Diego Martinez

Estefanía David Rodríguez

Sandra Liliana Delgado Gómez

Jhon Raul Perez Muñoz

Luis Daniel Castellanos Remolina

Wilson Fernando Antury Torres

Cristian Orozco Benjumea

Darvin Orozco

Gustavo Adolfo Abello Fernandez

Isaac Nahaniel Silva Urbina

Hector F

Nicoll Idaly Angulo Mejia

johan Stever Rodriguez Molina

Luis Eduardo Chacón Wilches

Yamid Leonardo Rodriguez Reyes

Jimmy Buriticá Londoño

Optimización de hiperparámetros

Introducción al curso

Introducción al curso de Machine Learning Aplicado con Python

Cómo definir un problema de Machine Learning

Importancia de definir el problema en Machine Learning

Predecir el ingreso de películas de IMDB

Terminología de Machine Learning

Materiales del curso: Notebooks de Jupyter

El ciclo de ingeniería de Machine Learning

El ciclo de Machine Learning

Montar un ambiente de trabajo Pydata

Configuración del ambiente de trabajo con Google Collab

Qué es y cómo se utiliza Numpy

Arrays en Numpy

Operaciones aritméticas en Numpy

Preparación de los datos

Cargar los datos necesarios para el proyecto

Inspección de los tipos de datos

Inspección cuantitativa y de salud de los datos

Limpiar los datos

Manejo de datos faltantes

Modelación y evaluación

El objeto estimador de Scikit-Learn

Implementar un modelo de regresión (Lasso)

Ajustando Modelos de Machine Learning, Underfitting y Overfitting

Evaluando el modelo

Feature Engineering

Feedback del modelamiento

Análisis exploratorio

Continuando con el análisis exploratorio

Creación de features

Creando más features

Selección de features y la maldición de la dimensionalidad

Modelos y Evaluación más avanzada

Cross Validation

Selección de modelos

Curvas de aprendizaje

Introducción a Ensembles y Árboles de Decisión

Random Forest y Gradient Boosting Trees

Optimización de hiperparámetros

Conclusiones del curso