Si uso polymer puedo llegar a tener problemas de compatibilidad con navegadores no tan modernos??

Los navegadores que no soportan Polymer ya casi no existen. Es menos del 1%. Yo diría que ya es seguro usar Polymer.

Con los navegadores "no tan modernos", el polyfill the webcomponentsjs debería de hacerlo funcionar. :)

Puedes checar la compabilidad de polymer en diferentes browsers:
https://www.polymer-project.org/1.0/resources/compatibility.html

Muy posiblemente no funcione con navegadores antiguos.