Re: KVM / GlusterFS
Am 26.07.2012 10:57, schrieb David Raab:
Die Netzwerkverbindung zwischen den KVM-Hosts wird mit Infiniband (RDMA,
10 Gbs) realisiert. Für kleinere Setups sollte/könnte Gigabit reichen.
Wir haben Root-Server bei Hetzner. Diese sind derzeit nur über 100 Mbit
angeschlossen. Da wir nicht viel Traffic haben und wie bereits gesagt
das Setup kleiner ist, vom Traffic sollte es eigentlich ohne probleme
ausreichen. Die Frage ist nur ob es für GlusterFS in diesem betrieb
ausreichend ist.
Oh, 100 MBit bedeutet im Idealfall ja ~11 MB/s. Das scheint mir zu wenig.
GlusterFS aus Squeeze ist schon recht alt, sollte IMO aber trotzdem tun.
Squeeze-Backports hat 3.2.4, damit solltest du testen.
Okay, ich probiere es nochmal damit.
Diese Locking-Problematik tritt aber nur auf, wenn deine replizierten
Images nicht mehr synchron sind und eine 'Resynchronisierung' notwendig
wird.
Soweit hatte ich es auch vermutet. Allerdings tritt es bei jedem Booten
der VM auf. Wenn ich eine VM Boote sehe ich den GRUB Bildschirm, dann
passiert gar nichts, bis anscheint GlusterFS die Dateien geprüft hat.
Mmh, bin mir nicht sicher, ob das nicht evtl. am Kernel in der VM
liegt!? Ich hab mir vor einiger Zeit spezialiserte Kernel für meine VM's
gebastelt. Ich meine, dass mit dem Standard-Distri-Kernel evtl. sowas
aufgetreten ist. Aber das ist zu lange her, um mich genauer zu erinnern ;-)
Aber wenn dem so wäre, dass GlusterFS das Problem ist, könntest du doch
evtl. erhöhte Aktivitäten mittels top sehen!?
Mit 3.3 sollte dies dann auch gegessen sein, weil dann nur noch kleine
Blöcke einer so großen Datei 'gelockt' werden.
Ja, das hatte ich soweit gelessen. Das Debian Packet von GlusterFS
benötigt allerdings schon Wheezy Packete wodurch ich es noch nicht
getestet hatte, da ich noch kein Wheezy Host habe.
Ich nehme immer die von Debian und portiere mir diese ggf. zurück aus
Testing oder Unstable.
Hast du denn irgendwas in GlusterFS konfiguriert? Dafür gibt es genügend
Dokumentation.
Derzeit habe ich lediglich die Volumes mit dem Befehl:
glusterfs-volgen -n images -r 1 host1:/mnt/raw-images host2:/mnt/raw-images
erstellt. Ich hatte schonmal wegen einer anderen Sache nach Performance
optimierungen geschaut, allerdings sind soweit alle Sachen die ich
gefunden hatte schon in der Automatisch generierten Datei enthalten gewesen.
IMO hat sich das Einrichten mit GlusterFS 3.2 geändert. Gibt jetzt ein
Tool namens 'gluster'.
Gibt es irgendwelche speziellen Konfigurationen für den Betrieb auf VM
Images die du empfehlen kannst?
Ich hab unter 3.2.4 folgendes zusätzlich eingestellt:
Volume Name: storage2
Type: Replicate
Status: Started
Number of Bricks: 2
Transport-type: rdma
Bricks:
Brick1: 10.0.0.3:/srv/glusterfs
Brick2: 10.0.0.4:/srv/glusterfs
Options Reconfigured:
nfs.disable: on
performance.cache-size: 512MB
performance.write-behind-window-size: 512MB
HTH
Thomas
Reply to: