Regresión logística

La regresión logística es un mecanismo eficiente para calcular probabilidades. El resultado puede utilizarse tal cual o convertirlo a una categoría binaria, para lograr esto nos apoyamos en una función matemática llamada Sigmoide. Si en caso la clasificación tuviera más parámetros, haríamos uso de la función Softmax.

A la regresión lineal también se le agrega el sigmoide que nos dará una probabilidad de salida y con ello resolvemos nuestro problema de pasar una regresión lineal a una regresión logística y debido a este cambio el MSE ya no será mi mejor forma de calcular el LOSS. Debe cambiar.

La aproximación intuitiva es castigar cuando el valor es 0 y la predicción resulta en 1 o viceversa. Esto se logra con el logaritmo porque nos permite modelarlo perfectamente y ahora nuestra función de pérdida o LOSS va a incluir logaritmos.

• Para problemas de probabilidad, utilizamos una regresión logística
• Para calcular el error(loss), nos basamos en la entropía pero el gradiente sigue siendo útil