Ich glaube nicht, dass Sie einen Browser ohne einen X-Server betreiben können.
Wenn Sie Xvfb nicht mögen, dann ist es, wie Pascal schon sagte, am besten, wenn Sie einen VNC-Server verwenden - ich persönlich mag Xtightvnc . Das bedeutet, dass Sie einen (kopflosen) X-Server betreiben, auf den Sie jederzeit per VNC zugreifen können, für den Fall, dass etwas schief geht und Sie es sich ansehen wollen. Ich habe immer einen VNC-Server laufen, und ich führe meine Tests mit der Umgebungsvariablen $DISPLAY aus, die auf diesen Server zeigt.
(Jemand hat mich heruntergestuft, also sollte ich vielleicht klarstellen: X11-VNC-Server wie Xtightvnc sind nicht dasselbe wie die üblichen VNC-Server unter Windows oder OS X, die einfach Ihren vorhandenen Bildschirm im Netzwerk freigeben würden. Nicht verwechseln. ;-) )