Eu utilizo o seguinte comando:
x11vnc -passwd 123 -find
o -find faz ele esperar um cliente tentar conectar para ativar(logo na maquina em que quero acessar via x11vnc pelo ssh e rodo o comando acima) depois conecto normalmente pelo x11vnc após fechar a conexão o server x11vnc é desativado