Cual es la diferencia de programar Java en visual studio a hacerlo en un Ide como Intellij idea?

Esa ya es la diferencia entre editor de codigo vs IDE

actualmente no creo que haya muchas diferencias ya que vs code sirve perfecto para programar en Java.

VS code es un editor de código, creo que se pueden decargar plugins para que el desarrollo con java sea más fácil y ágil casi como en un IDE como Intellij idea, en lo personal creo que ya depende de gustos y la complejidad del programa a desarrollar, si el programa a desarrollar tiene una alta complejidad lo mejor es usar un IDE , en cambio si tiene poca complejidad lo mejor es usar algo menos pesado como VS code.

Intellij Idea ya te brinda features para trabajar con Java profesionalmente con funciones de desarrollo de sw que añaden practicidad, rapidez y contiene incluso estandares de contrucción de proyectos que han ido añadiendo con el tiempo a necesidad de los java developers, tambien las operaciones de IDE ya estan enfocadas para el lenguaje y su proceso de compilacion, con VS Code todo los features anteriores se tienen que instalar desde cero ya que VS Code es personalizable de acuerdo al lenguaje que estes trabajando.

La verdad para gusto los colores, he usado los dos y la verdad me quedo con visual studio,

IntelliJ es un IDE desarrollado por JetBrains que está completamente enfocado para Java, sus debugeo, librerías, compiladores, testing, entre muchas otras cosas. Vs Code es más un editor de texto súper avanzado que es muy muy útil para lenguajes como HTML, CSS, y Python pero que no posee cosas como compiladores propios, y aunque permite hacer debugeo en algunos lenguajes, no está diseñado para dar la mejor experiencia en todos. Así es como lo veo yo ahora que he usado ambos por bastante tiempo.