Mínimos cuadrados para datos imperfectos

Cuando los datos del mundo real no encajan en una línea perfecta, necesitas una herramienta que encuentre la mejor solución aproximada. La aproximación por mínimos cuadrados resuelve sistemas de ecuaciones inconsistentes proyectando el resultado deseado sobre el espacio columna de la matriz, y es la base para ajustar modelos a datos ruidosos en estadística, machine learning y ciencia de datos.

¿Por qué un sistema Ax = b puede no tener solución?

Un sistema queda sin solución cuando el vector b está fuera del espacio columna de A. Es decir, ninguna combinación lineal de las columnas de A logra reconstruir exactamente b. Esto pasa todo el tiempo con datos reales: tres puntos dispersos rara vez caen sobre una misma recta.

¿Qué es un sistema inconsistente? Es un sistema de ecuaciones que no tiene solución porque el vector de resultados no pertenece al espacio columna de la matriz de coeficientes.

En el minuto [01:30] aparece la idea clave: si no puedes resolver Ax = b, busca un x sombrerito tal que Ax sombrerito sea el punto más cercano posible a b dentro del espacio columna. Ese punto más cercano es la proyección ortogonal de b, que llamamos p.

¿Qué papel juega el vector de error?

El vector de error e = b − p mide la diferencia entre lo que querías alcanzar y lo que sí puedes alcanzar. Geométricamente es la línea más corta entre b y el plano del espacio columna. La mejor solución es la que minimiza la longitud de ese vector de error.

Y aquí está el truco: el error es mínimo cuando e es ortogonal al espacio columna de A. Como el producto punto entre vectores ortogonales es cero, eso se traduce en A transpuesta · e = 0 [02:30].

¿Cómo se deduce la ecuación normal?

Partiendo de A transpuesta · e = 0, sustituyes e por b − Ax sombrerito y aplicas la propiedad distributiva:

• A transpuesta · (b − Ax sombrerito) = 0.
• A transpuesta · b − A transpuesta · A · x sombrerito = 0.
• A transpuesta · A · x sombrerito = A transpuesta · b.

Esta última expresión es la ecuación normal, y es la herramienta que permite encontrar la mejor solución aproximada cuando el sistema original es inconsistente [03:40].

¿Qué es la ecuación normal? Es la fórmula Aᵀ A x̂ = Aᵀ b que entrega la solución por mínimos cuadrados al proyectar b sobre el espacio columna de A.

¿Cómo aplicar mínimos cuadrados a un caso real?

Imagina tres estudiantes con los siguientes datos de horas de estudio y calificación: (2, 70), (3, 90) y (4, 80). Buscas una recta del tipo calificación = c₁ + c₂ · horas [04:20].

El sistema de ecuaciones queda así:

• c₁ + 2c₂ = 70.
• c₁ + 3c₂ = 90.
• c₁ + 4c₂ = 80.

Es un sistema sobredeterminado porque tiene más ecuaciones (3) que incógnitas (2), y también inconsistente. Un dato curioso del minuto [06:00]: no todos los sistemas sobredeterminados son inconsistentes; algunos tienen solución cuando una ecuación es redundante.

¿Cómo se calculan Aᵀ A y Aᵀ b?

Con la matriz A formada por una columna de unos y la columna de horas (2, 3, 4), y el vector b = (70, 90, 80):

• Aᵀ A da como resultado la matriz [[3, 9], [9, 29]].
• Aᵀ b da como resultado el vector [240, 730].

Entonces el sistema reducido a resolver es [[3, 9], [9, 29]] · x̂ = [240, 730] [08:30].

¿Cómo se resuelve con eliminación gaussiana?

Construyes la matriz aumentada y restas a la fila 2 el triple de la fila 1 para anular el 9. Queda la forma escalonada con 2c₂ = 10, de donde c₂ = 5. Sustituyendo en la primera ecuación, obtienes c₁ = 65 [10:30].

La recta de mejor ajuste es: calificación = 65 + 5 · horas.

¿Qué nos dice el modelo final?

Por cada hora extra de estudio, la calificación tiende a aumentar cinco puntos, partiendo de una base de 65 puntos. Gráficamente, los tres puntos azules no caen sobre la línea, pero las distancias verticales entre cada punto y la recta son las más pequeñas posibles en conjunto [11:40].

Eso es exactamente lo que prometen los mínimos cuadrados: no una solución perfecta, sino la mejor aproximación posible cuando la realidad viene con ruido.

Ahora te toca a ti. Si los datos fueran (1, 1), (2, 2) y (3, 3), donde la tendencia es perfectamente lineal, ¿el sistema Ax = b sería inconsistente o tendría solución exacta? Deja tu respuesta en los comentarios.