Puedo instalar MYSQL en mi vps de forma manual y no pagar ello? o simepre tengo que pagar por la base de datos?

Es completamente posible que instales mysql en tu instancia de lightsail o EC2, las ventajas que tiene el instalar usando los servicios como los de lightsail o rds es que tiene gestión de backups, puedes cambiar el tamaño de la instancia (aumentar o disminuir memoria ram por ejemplo) sin perdida de datos y con un downtime muy corto.

Podrías hacerlo para ambientes de pruebas y de desarrollo.

Pensé en eso también... Porque según vi al instalar el SO con aplicaciones también podías instalar un LAMP... la gestión de backups la puedes hacer con ciertos scripts u otra herramienta... Debe existir más beneficios para usarlo de esta forma

Si se puede, pero como comenta Diego Forero tendrias que valorar ya que el gestionar la DB mediante RDS o lightsail tiene mayores ventajas que hacerlo desde una instancia EC2

Pues yo montaria la app y mysql en contenedores docker dentro de una instancia ec2 o ligthsail asi saldria mucho mas rentable. Ademas crearia los scripts de backups automaticos de mysql a un bucket s3