¿Qué hay más allá de la linealidad?

Clase 16 de 18 • Curso de Regresión Lineal con Python y scikit-learn

Bryan Castano

student••

Hola Chicos, esto para Reflexionar.

IMPORTANT!

Vamos a explorar juntos la Ecuación de Costo y la Geometría (círculo vs. rombo). proque su geometria deice mucho sobre Regularizacion l1 vs l2.

El Escenario de Optimización :

Como mencionamos, la regresión regularizada busca el conjunto de coeficientes ($\beta$) que minimice esta fórmula:

$$\min_{\beta} \left[ \text{MSE}(\beta) + \lambda \times \text{Penalización}(\beta) \right]$$

$\text{MSE}(\beta)$: Es el Error Cuadrático Medio. Es la parte que quiere que el modelo se ajuste bien a los datos.
$\lambda$ (o alpha): Es la fuerza de la penalización.
$\text{Penalización}(\beta)$: Es lo que mantiene los coeficientes bajo control.

Para simplificar la visualización geométrica, podemos reescribir la minimización como un problema de optimización con restricciones (constrained optimization).

En lugar de minimizar el costo total, buscamos los coeficientes $\beta$ que minimizan el $\text{MSE}$, sujeto a una restricción sobre la suma de los coeficientes:

Ridge (L2): Minimizar $\text{MSE}(\beta)$ sujeto a $\sum_{j=1}^{p} \beta_{j}^{2} \le c$
Lasso (L1): Minimizar $\text{MSE}(\beta)$ sujeto a $\sum_{j=1}^{p} |\beta_{j}| \le c$

Aquí, $c$ es un valor que está inversamente relacionado con $\lambda$ (un $\lambda$ más grande implica un $c$ más pequeño).

La Intuición Geométrica (El Porqué del Cero)

En un gráfico donde los ejes son los coeficientes del modelo ($\beta_1, \beta_2$), la solución óptima es el punto donde la curva del error (MSE) toca por primera vez la región de restricción (la penalización).

1. La Región de Restricción L2 (Ridge) ⚪

La restricción $\sum_{j=1}^{p} \beta_{j}^{2} \le c$ define una región circular (o una esfera/hiperesfera en más dimensiones).

Forma: Un círculo (o esfera) beta~².
Efecto: El punto de mejor ajuste (mínimo MSE) generalmente se encuentra fuera de este círculo. Al ser forzado a moverse a la frontera del círculo, los coeficientes se encogen de manera uniforme. Como el círculo no tiene esquinas, es muy poco probable que el punto de contacto ocurra exactamente sobre el eje, donde un coeficiente es cero. Siempre se acercan, pero no llegan a cero.

2. La Región de Restricción L1 (Lasso) ♦️

La restricción Sumatoria de j =1 hasta p, ||beta|| < c ,define una región en forma de diamante o rombo.

Forma: Un rombo (o un octaedro en 3D).
Efecto Clave: ¡El rombo tiene esquinas! Las esquinas del rombo se encuentran precisamente sobre los ejes, lo que significa que en esos puntos, uno de los coeficientes es cero .

El área de menor error (las líneas de contorno elípticas del MSE) es mucho más probable que toque primero una de estas esquinas del rombo que cualquier otro punto en su borde. Al tocar la esquina, la solución se establece con el coeficiente correspondiente a cero, realizando la selección de características.

¿qué p asaría si el valor de lambda fuera cero ($lambda = 0$)? ¿Cómo se verían en el gráfico la región de restricción L1 o L2?

RTA: Si lambda (λ) fuera 0, la penalización por regularización desaparecería. En el gráfico, las regiones de restricción L1 o L2 (diamante o círculo) se expandirían infinitamente, dejando que el modelo encuentre los coeficientes que minimicen solo el error de mínimos cuadrados sin ninguna restricción.

Cuando $\lambda = 0$, la fuerza de la restricción desaparece, y la región de restricción L1 o L2 se vuelve infinita. La solución, en ambos casos, recae en el centro de las elipses de error del MSE. Esto es, de hecho, la solución exacta de la Regresión por Mínimos Cuadrados Ordinarios (OLS), sin regularización.

a Geometría en Acción: Rombo vs. Círculo

La comprensión de la geometría es clave. Enfocándonos en el L1 (el rombo ♦️) y su habilidad para anular coeficientes:

La forma del L2 (Círculo/Esfera): La frontera es suave y curva. Si un coeficiente es empujado cerca de cero, el otro también lo es, pero el punto de contacto entre la elipse de error y el círculo rara vez caerá exactamente sobre un eje (donde $\beta_j = 0$).
La forma del L1 (Rombo/Octaedro): La frontera tiene esquinas agudas sobre los ejes. Estos puntos representan soluciones donde al menos un coeficiente es cero.

El Impacto de las Esquinas

La naturaleza convexa de las elipses de error (MSE) hace que sea mucho más probable que el punto óptimo de contacto ocurra en una de estas esquinas en lugar de en el medio de un borde.

Piensa en esto: si estás buscando el punto de menor error y la restricción te obliga a elegir un punto dentro o sobre el rombo, el lugar donde el error es mínimo es muy a menudo una esquina, lo que automáticamente implica que el coeficiente en ese eje se ha anulado. Esta anulación es lo que llamamos modelo disperso (sparse model) y es el mecanismo de selección de características.

La regresión lineal simple puede sobreajustarse (overfitting) si hay ruido o muchas variables: el modelo se ajusta demasiado a los datos de entrenamiento y falla en nuevos datos. La regularización añade una "penalización" a los coeficientes grandes para simplificar el modelo y evitar overfitting.

Función de costo general: En OLS, minimizamos SSE. Con regularización, minimizamos SSE + λ * Penalización, donde λ es un hiperparámetro que controla la fuerza de la penalización.

5. Regresión Ridge (L2 Regularization)

Idea: Penaliza la suma de los cuadrados de los coeficientes (||β||²). Esto encoge los coeficientes hacia cero, pero no los hace exactamente cero. Es útil cuando hay multicolinealidad (variables correlacionadas).
Ecuación: Minimizar SSE + λ Σ(β_j²) para j=1 a k (no penaliza β₀).
Efecto: Los coeficientes se hacen más pequeños, reduciendo la varianza del modelo.
Entrenamiento: Similar a OLS, pero la solución es β = (X^T X + λI)^(-1) X^T Y (donde I es la matriz identidad). Esto hace que la matriz sea invertible incluso con multicolinealidad.

Regresión Lasso (L1 Regularization)

Idea: Penaliza la suma absoluta de los coeficientes (|β|). Esto puede hacer que algunos coeficientes sean exactamente cero, actuando como selección de características (feature selection).
Ecuación: Minimizar SSE + λ Σ|β_j| para j=1 a k.
Efecto: Elimina variables irrelevantes, haciendo el modelo más interpretable y sparse.
Entrenamiento: No tiene solución cerrada como Ridge; se usa optimización numérica (e.g., gradiente descendente o coordinate descent). En Python, scikit-learn lo maneja.

L1 vs L2: Comparación

Penalización:
- L1 (Lasso): Suma absoluta (|β₁| + |β₂| + ...). Forma un "diamante" en el espacio de coeficientes, lo que tiende a poner coeficientes en cero (esquinas).
- L2 (Ridge): Suma de cuadrados (β₁² + β₂² + ...). Forma un "círculo", encoge coeficientes uniformemente sin eliminarlos.
Diferencias clave:
- Selección de características: L1 sí (puede eliminar variables). L2 no (solo las encoge).
- Multicolinealidad: L2 es mejor porque distribuye la penalización entre variables correlacionadas. L1 elige una y pone las otras a cero.
- Interpretabilidad: L1 da modelos más simples (menos variables).
- Sensibilidad: L1 es más robusto a outliers en coeficientes; L2 es más estable.
- Cuándo usar:
  - Usa Lasso (L1) si sospechas que muchas variables son irrelevantes (e.g., en datasets con miles de features).
  - Usa Ridge (L2) si todas las variables son relevantes pero hay correlaciones altas.
  - Hay un híbrido: Elastic Net (L1 + L2) para lo mejor de ambos.
Elección de λ: Usa validación cruzada (cross-validation) para probar diferentes valores y elegir el que minimice el error en datos de validación.

Es importante la vision geometrica para entneder el mecanisco de cada una l1 vs l2, y su efecto sobre los coeficientes betas.

¿Qué hay más allá de la linealidad?

Introducción al curso

Tu primera regresión lineal con scikit-learn

Análisis de datos para tu primera regresión lineal

Entrenando un modelo de regresión lineal con scikit-learn

Cómo funciona la regresión lineal

¿Qué es la regresión lineal?

Cuándo utilizar un modelo de regresión lineal

Función de pérdida y optimización: mínimos cuadrados

Evaluando el modelo: R^2 y MSE

Regresión lineal multivariable

Regresión lineal multivariable

Análisis de regresión multivariable

Proyecto práctico

Regresión lineal para predecir los gastos médicos de pacientes

Exploración y preparación de datos

Análisis de correlación de los datos

Entrenamiento del modelo

Evaluando el modelo

Mejorando el modelo

Pasos siguientes

¿Qué hay más allá de la linealidad?

Siguientes pasos en modelos de inteligencia artificial

Comparte tu proyecto de regresión lineal y certifícate