Puedo usar Bootstrap 4 y Angular Material o Materialize a la vez?? No habrá mucho conflicto?

No tendras ningun conflicto, pero debes tener cuidado con la mezcla de estos dos, porque los css se pueden sobreescribir.

se recontra puede, de echo se usa mucho hacer eso, si te fijas en la web y en youtube muchos hacen aplicaciones y el tema del diseño lo hacen con bootstrap y angular material, yo acabo de terminar un pequeño proyecto donde para el diseño utilice angular material y bootstrap y quedo re bien , no me dio ningun incoveniente eso, me dio mas incoveniente el tema de angularfire y las actualizaciones que hizo en el codigo, pero bootstrap y angular material para el diseño fue re facil y cero incovenientes

No es buena idea mezclar frameworks ya que se pueden sobreescribir clases, lo que puedes es usar materialize y de bootstrap solo exportar los componentes que necesitas, teniendo cuidado de que no sean cosas que tiene materialize.