la gestione delle frequenze di X è scandalosa.
se non hai il manuale del monitor (con relativi range di frequenze
orizzontale e verticale), ti conviene provare a mettere le due frequenze
fisse (devi essere sicuro che il monitor le supporti)
se non ricordo male poi, la frequenza orizzontale è pari a quella
verticale*altezza (anche se non in modo così preciso), quindi se vuoi
800x600@85, prova:
HorizSync 51
VertRefresh 85
impostando solo la 800x600 come risoluzione disponibile
magari prima prova solo con la frequenza verticale, che *forse* X è
abbastanza furbo da aggiustare quella orizzontale di conseguenza