Una consulta si un sitio me arroja esto: User-agent: GoogleBot Allow: / ¿al no haber un Disallow puedo scrapear lo que quiera?

Sí, te dice que todo esta permitido.

Hola, Claudio :) Las reglas de robots son para los search engines (Google por ejemplo); te recomiendo ver si el sitio indica de forma explícita que prohíbe el acceso o la extracción automatizada de datos de cierta forma. Hay que tener en mente que todas las peticiones a sus servidores tienen un costo (aunque sea muy pequeño) y es comprensible que si no quieren que se haga scraping de sus sitios. Mi consejo es "no abusar" ;)