¿Es bueno trabajar con REM en partes como margin y padding?

Depende lo que tengas que hacer, comúnmente llevamos todo al calculo de pasar las REM a px, con el clásico calculo, pero usamos REM sabiendo cual seria el resultado en PX, que al fin y al cabo es lo que se termina resolviendo en el browser.

@lucasfrezzini Justo leí que es bueno REM solo para trbajar en fonts. Usar rem en width, height, margin,padding es mala practica

Nel, trabajar REM en margins y paddings puede hacer que se te rompa tu código, si lo quieres hacer responsivo puedes usar flex, grid y la función calc

Dependerá de como lleves tus proyectos y cálculos, ahora como dices es recomendable en font-size porq este es reponsiveo accesible para el navegador y el usuario. Utilizarlo en em paddin o margin no tendría nada de malo, pero recuerda que si modificar el valor modificarás tus elementos, para eso puede utilizar PX que no hereda valores.