Instalación
Instalación de PostgreSQL
sudo apt-get install postgresql postgresql-contrib
Instalación de la interfaz visual PGadmin
sudo apt-get install pgadmin3
Conexión por terminal
Cuando se instala Postgres automáticamente se crea el usuario postgres con la contraseña vacía, por lo que podemos entrar con el comando
sudo -u postgres psql
Si queremos salir de la terminal de Postgres lo hacemos con el comando
\q
Cambio de contraseña
Si queremos cambiar la contraseña del usuario postgres podemos usar el comando (no olvidar usar el punto y coma al final)
alter user postgres with password '<new password>';
Conexión usando PGadmin
Después de instalada la interfaz visual la buscamos entre la lista de aplicaciones y tenemos que indicarle que se conecte a la base de datos local usando el ícono señalado

Eso nos mostrará este formulario donde debemos indicarle un nombre a la conexión, el Host será localhost y debemos indicarle el password, no aceptará la conexión si se pasa el password vacío por lo que debemos cambiar el password por defecto antes de usar PGadmin.

Curso de PostgreSQL