Máximos y mínimos

Claro! Por esta razón es que a nivel de código se crean vectores en ceros.
Cuando se está entrenando algún modelo, esto es para optmizarlo. Genial!

Máximos y Mínimos
Para encontrar un máximo o un mínimo en una función en tres direcciones todas las derivadas direccionales deben ser iguales a cero. Recordando que la derivada direccional es el producto interno del vector gradiente por el vector unitario direccional. Y puesto que los vectores direccionales no son todos ceros concluimos que para que un punto sea mínimo o máximo el vector gradiente debe ser cero y por lo tanto todas las derivadas parciales deben ser cero.

Para la solución de estos problemas, en la universidad a mi me ayudó mucho buscar los temas en internet:
Puntos críticos.
Multiplicadores de Lagranje.

A principio se ve complicado, pero con el tiempo es muy fácil

Y cómo sabemos si el punto encontrado es un máximo, mínimo o punto silla?
Para ello se usa el criterio de la segunda derivada que pueden revisar en cualquier libro. Por eso prefiero explicar brevemente de dónde viene ese criterio.
Recordemos de cálculo de una variable que también existe el criterio de la segunda derivada y nos dice si la función es convexa o cóncava en un punto arbitrario P. Ese mismo concepto lo podemos aplicar a cálculo multivariable pero ahora diremos que una función:

• Es convexa si para todo vector de dirección u, la segunda derivada direccional en P de la dirección u es negativa (implica que el hessiano es definido negativo). Ergo, P es un máximo local.
• Es cóncava si para todo vector de dirección u, la segunda derivada direccional en P de la dirección u es positiva (implica que el hessiano es definido positivo). Ergo, P es un mínimo local.
• Si existe algún vector u para el cual la derivada direccional en P de la dirección u es positiva, y otro vector v para la cual es negativa (implica que el hessiano no es ni definido negativo ni definido positivo), entonces P es un punto silla.

Partiendo de ahí y aplicando nuestro conocimiento de álgebra lineal llegaremos al criterio de la segunda derivada.

Básicamente lo más interesante a rescatar (desde mi punto de vista) es que el criterio de la segunda derivada nos dice que si el punto es un máximo es porque la función es convexa en ese punto, si es un mínimo la función es cóncava en ese punto, y si es un punto silla la función es convexa en alguna dirección y cóncava en otra.