Cuál sería un valor aceptable de MSE en este caso? Y no tendría más sentido hablar de la raíz cuadrada del MSE para evaluar el modelo?

Un valor aceptable es uno que no sea muy alto o muy bajo, que no pierda la relación de tu modelo con los datos reales, es un estimador lo ideal seria que fuera 0. Así que todo depende de que consideres aceptable para tu predicción. Puedes con RMSE conseguir una mejor escala, ya que solo es la raíz cuadrada del MSE no es que agregues otro estimador es una operación sobre algo que ya tienes,

La varianza en estadística funciona muy similar te recomiendo investigarla. Existen técnicas para optimizar más esos errores debes darte una vuelta por el curso de cálculo con famoso descenso del gradiente.