Regularización en Modelos de Machine Learning

Clase 13 de 37 • Curso Profesional de Machine Learning con scikit-learn

Contenido del curso

Aprender los conceptos clave

1
Curso Completo de Machine Learning con Scikit-learn para Principiantes
07:31 min
2
Tipos de Aprendizaje en Machine Learning: Supervisado, No Supervisado y por Refuerzo
04:18 min
3
Problemas de Clasificación, Regresión y Clustering con Scikit-learn
06:13 min
4
Fundamentos Matemáticos para Machine Learning Avanzado
04:52 min

Iniciar un proyecto con sklearn

Optimización de features

Regresiones robustas

Métodos de ensamble aplicados a clasificación

Clustering

Optimización paramétrica

Salida a producción

Tomar examen

Resumen

¿Qué es la regularización en machine learning?

La regularización es una técnica vital en machine learning, diseñada para reducir la complejidad de un modelo al penalizar aquellas variables que aporten menos información. Al aplicar estas penalizaciones, se busca que el modelo no dependa excesivamente de las variables irrelevantes, mejorando así su capacidad de generalización. Visualmente, esto permite a los algoritmos ajustar mejor las predicciones frente a la diversidad de datos en el mundo real.

¿Cómo funciona la regularización?

La técnica de regularización introduce un sesgo en el modelo que ayuda a reducir la varianza de los datos. En un contexto de machine learning, esto implica alterar el comportamiento del modelo para que sea menos ajustado a los datos de entrenamiento y tenga un mejor desempeño con datos no vistos. Esta conceptualización se refleja en la gráfica donde se observa cómo un modelo más regularizado ofrece mejores resultados en una variedad de datos.

Para implementar la regularización, se introduce el concepto de pérdida o "loss", que mide qué tan alejadas están las predicciones de los datos reales. Una menor pérdida indica un mejor modelo. Es crucial evaluar esta pérdida en conjuntos de validación para evitar que el modelo se ajuste excesivamente a los datos de entrenamiento, fenómeno conocido como overfitting.

¿Cuáles son los tipos de regularización más comunes?

En la literatura sobre machine learning, existen principalmente tres tipos de regularización:

Regularización L1 (Lasso): Elimina las características menos relevantes al penalizarlas severamente, lo que provoca que algunos coeficientes se vuelvan cero. Esto es útil para modelos con muchas variables, donde algunas no contribuyen significativamente.
```
# Ejemplo de fórmula simplificada
minimization_L1 = loss + lambda * sum(abs(coef))
```
Regularización L2 (Ridge): Similar a L1, pero en lugar de eliminar por completo las variables, las penaliza haciendo que su impacto sea mínimo, manteniendo así cierta información que podría ser útil a largo plazo.
```
# Ejemplo de fórmula simplificada
minimization_L2 = loss + lambda * sum(coef ** 2)
```
Regularización Elastic Net: Combina las ventajas de L1 y L2, permitiendo mayor flexibilidad al integrar ambas penalizaciones en una sola función. Es especialmente útil cuando se enfrenta a problemas complejos con características correlacionadas.

¿Cuándo usar cada tipo de regularización?

Elegir el tipo de regularización adecuado depende del escenario específico y del conjunto de características:

L1 (Lasso): Es recomendable cuando se tiene un conjunto de características reducido y no tan correlacionado directamente con la variable objetivo. Ayuda a simplificar el modelo eliminando factores irrelevantes.
L2 (Ridge): Es efectiva cuando se cuenta con muchos factores que podrían influir directamente en la variable a predecir. Permite conservar una mayor cantidad de información útil al aplicar penalizaciones moderadas.
Elastic Net: Útil en situaciones donde se quiera capitalizar en lo mejor de ambas regularizaciones. Si enfrentamos un conjunto de datos con correlaciones fuertes y muchas características, Elastic Net proporciona un balance eficiente.

Si el tema te ha interesado, te invito a seguir aprendiendo y experimentando con estas técnicas. La regularización ofrece potentes herramientas para mejorar tus modelos y los resultados pueden ser sorprendentes. Además, si tienes alguna consulta, no dudes en compartirla, estamos aquí para ayudarte.

Mario Alexander Vargas Celis

student•

La regularización en modelos de Machine Learning es una técnica esencial para mejorar la capacidad de generalización de un modelo y evitar que este sobreajuste (overfitting) los datos de entrenamiento.

🧠 ¿Qué es Regularización?

La regularización consiste en agregar una penalización al error del modelo (a la función de pérdida) para evitar que los coeficientes/parametros crezcan demasiado, lo cual podría llevar a un modelo muy ajustado a los datos de entrenamiento pero con mal desempeño en datos nuevos.

🔍 ¿Por qué ocurre el sobreajuste?

El modelo aprende ruido o variaciones irrelevantes del dataset.
Tiene demasiados parámetros o alta complejidad.
Insuficiente cantidad de datos o sin limpieza adecuada.

📦 Tipos de Regularización más comunes

1. L1 – Lasso (Least Absolute Shrinkage and Selection Operator)

Agrega la suma de los valores absolutos de los coeficientes.
Favorece la selección de características (algunos coeficientes se vuelven 0).

Función de pérdida:

LossL1=Error+λ∑∣wi∣\text{Loss}_{L1} = \text{Error} + \lambda \sum |w_i|

2. L2 – Ridge

Agrega la suma de los cuadrados de los coeficientes.
Reduce el impacto de variables sin eliminarlas.
Mantiene todos los coeficientes pequeños.

Función de pérdida:

LossL2=Error+λ∑wi2\text{Loss}_{L2} = \text{Error} + \lambda \sum w_i^2

3. Elastic Net = combinación de L1 + L2

Utiliza ambos tipos de penalización.
Útil cuando hay muchas variables correlacionadas.

⚙️ ¿Dónde se usa la regularización?

Regresión lineal (Ridge, Lasso)
Regresión logística
Redes neuronales (técnicas como Dropout también son formas de regularización)
SVM (el parámetro C controla la regularización)

🧪 Ejemplo en Scikit-learn: Regresión Ridge

from sklearn.linear_model import Ridge from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error

X, y = load_boston(return_X_y=True) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

ridge = Ridge(alpha=1.0) # alpha es lambda (parámetro de regularización) ridge.fit(X_train, y_train) y_pred = ridge.predict(X_test)

print("MSE:", mean_squared_error(y_test, y_pred))

Nota: Si alpha=0, no hay regularización y el modelo se comporta como una regresión lineal estándar.

📌 ¿Qué controla la fuerza de la regularización?

El hiperparámetro λ (lambda) o alpha en scikit-learn.

Un valor alto de lambda = más regularización (modelo más simple).
Un valor bajo = menos regularización (modelo más complejo).

✅ Beneficios de Regularizar

Reduce el overfitting.
Mejora la estabilidad del modelo.
Hace que el modelo sea más interpretables (en el caso de L1).

¿Quieres...?

¿Comparar visualmente L1 y L2 en regresión?
¿Hacer validación cruzada para seleccionar el mejor alpha?
¿Aplicar regularización en clasificación con regresión logística?

María Victoria Pérez Mejía

Diego Jurado

Juan Felipe Zárate

María José Medina

Miguel Angel Velazquez Romero

Rafael Rivera

Claudio Chavarría Altamirano

Luis Fernando Úbeda Camacho

LUIS MIGUEL ZAVALA FELIX

Alfonso Andres Zapata Guzman

Salvador Cardona Noriega

Juan R. Vergara M.

Cesar Uribe

JOSE DANIEL HERNANDEZ BETANCUR

Sebastian Manassero

Thomas Gonzalez Rodrigues

Nico Quiroz

Gersonrpq

Carlos Arturo

santiago de la cruz siado

Santiago Ahumada Lozano

Matías Collado

Evelyn Graterol Rosales

Carlos Daniel Pimentel Díaz

Carlos Iván Cortés Cruz

RAUL SERGIO ESPEJO TICONA

Juan Acevedo

Ricardo Cruz

Leo Wong

Giovany samaca

Miguel Rodríguez

Regularización en Modelos de Machine Learning

Aprender los conceptos clave

Curso Completo de Machine Learning con Scikit-learn para Principiantes

Tipos de Aprendizaje en Machine Learning: Supervisado, No Supervisado y por Refuerzo

Problemas de Clasificación, Regresión y Clustering con Scikit-learn

Fundamentos Matemáticos para Machine Learning Avanzado

Iniciar un proyecto con sklearn

Configuración Profesional de Entorno de Trabajo para Python

Instalación y configuración de librerías para Python

Análisis de Datos para el Bienestar y la Felicidad Humana

Optimización de features

Selección de Variables en Modelos de Aprendizaje Automático

Reducción de Dimensionalidad con Análisis de Componentes Principales

Reducción de Dimensionalidad y Regresión Logística con Python

Clasificación de Enfermedad Cardiaca con PCA y Regresión Logística

Funciones Kernel en la Clasificación de Datos Complejos