¿Al modificar la velocidad se hace de manera destructiva?

No del todo. Si vas a hacer que un video vaya más rápido, no afecta mucho a cómo se ve el video (hablando de algún aspecto negativo). Pero si lo que vas a hacer es una cámara lenta, debes asegurarte que los fps de tu clip coincidan con la nueva velocidad que le quieres dar al clip.

EJEMPLO: Si grabaste un clip a 60fps y lo llevas a la mitad de la velocidad, no se verá mal el video, simplemente será un slow motion fluido a 30fps.

Ahora, si haces lo mismo de bajar la velocidad a la mitad, pero con un clip de 30fps, el resultado será un slow motion a 15fps con muchas caídas de frames, lo que significa que se verá poco fluido y con muchos cortes.