¿Por qué cambiamos la función de activación en backpropagation?

Durante el entrenamiento, en las capas internas está utilizando la función de activación RELU, ya que esta es más rápida en converger habitualmente. Sin embargo, en la salida final, buscamos tener un sí o no, o un 1 o 0 y este resultado se aproxima mejor con la función sigmoide. El profesor creo ha utilizado esta forma también para mostrarnos que se pueden utilizar dos funciones de activación en la misma red neuronal.

a cual te refieres... a las derivadas de la función?