¿que me recomiendan,instalar virtualbox en windows o instalar debian y luego instalar virtualbox?

Para pentesting te recomiendo mejor debian (ubutnu, popos) y vmware es mucho mas estable y facil de instalar que virtualbox

Si estas mas familiarizado y por cuestión del trabajo tienes que ocupar windows instala virtual box en dicho sistema operativo, sino pues lo puedes hacer en debian o como comentan ponerlo de manera dual.

Puedes tener la opción de dual boot, con esto puedes arrancar por linux o windows cuando necesites sin tener que usar maquinas virtuales.

Lo más práctico es la primera opción.