Re: Erfahrungen mit verteilten Dateisystemen
Hallo,
Meinhard Schneider <meini@meini.org>:
>Ich habe im RZ zwei Server stehen. Die sollen die gleichen Daten bevorraten
>falls mal eine Maschine ausfällt. Gleichzeitig möchte ich aber auch den
>gesamten Datenbestand von beiden Servern aus nutzen können.
>Die gesamten Nutzerdaten möchte ich gerne über alle VMs teilen, einmal damit es
>nur *einen* großen Storage gibt (beim bisherigen Setup verschwende ich Unmengen
>an Platz schon dadurch, dass die /home's nicht richtig ausgelastet sind).
>Außerdem möchte ich gerne so Sachen wie den IMAP-Server parallel auf beiden
>Servern laufen lassen, so dass man DNS round robin machen kann (wenn schon zwei
>Server im RZ stehen soll sie auch was zu tun haben).
Bevor du das machst, solltest du unbedingt prüfen, ob der verwendete IMAP
Server dafür geeignet ist. Bei manchen Diensten ist es absolut tödlich, zwei
Instanzen auf dem gleichen Spool laufen zu lassen, z.B. Postfix.
>Leider bin ich ziemlich unschlüssig womit ich ein solches verteiltes
>Dateisystem umsetzen soll. Folgende Ideen hatte ich:
>1. Verteilung der Daten per DRBD auf beide Server, ext4 formatiert und auf
>*einem* Server gemountet. Gemeinsamer Zugriff über NFS4.
>2. Verteilung der Daten per DRBD auf beide Server, Einsatz von DRBD
>dual-primary und GFS/OCFS2.
Ich habe vor einigen Jahren mal zwei der von dir beschriebenen Szenarien
für verschiedene Anwendungen getestet, nämlich die Variante 1. (NFS+ext4)
und 2. mit OCFS2.
>Nachteile:
>- beide FS - GFS und OCFS2 - sind für mich böhmische Dörfer. Ich vermag nicht
> zu beurteilen wie solide, stabil, zuverlässig und pflegbar eine solche Lösung
> ist und welche Fallstricke auf mich warten.
Das kannst du auch als Vorteil auffassen: wenn du diese Variante
realisierst, hast du eine steile Lernkurve. ;-)
Zumindest bei meinen Tests hat sich OCFS2 als stabil erwiesen; auch bei
künstlich hoher Last ließ es sich nicht aus dem Tritt bringen. Als Nachteil
sehe ich aber, dass man ein OCFS2 nur offline vergrößern und überhaupt nicht
verkleinern kann. Offline heisst hier, dass es auf keinem Knoten gemountet
sein darf. Ein ext4 kann man dagegen online vergrößern und zumindest offline
auch verkleinern.
Bei der Performance gibt es keine eindeutige Empfehlung. Meine Erfahrung ist,
dass OCFS2 besser ist, wenn es um sehr große Dateien geht (VM Images); bei
vielen kleinen Dateien (Webspace) war dagegen die NFS+ext4 Variante
schneller.
Wenn ich dich richtig verstanden habe, möchtest du die gemeinsamen Dateien
nicht nur auf den beiden Hosts, sondern auch in den virtuellen Maschinen
zur Verfügung haben. Hier würde ich OCFS2 nur dann in Erwägung ziehen, wenn
sicher gestellt ist, dass alle virtuellen Maschinen und die Hosts stets
mit der gleichen Kernelversion arbeiten. Sobald unterschiedliche Kernel
oder gar verschiedene Betriebssysteme zum Einsatz kommen, bist du mit
NFS besser bedient.
Zu GFS und GlusterFS kann ich nichts sagen.
Gruß, Harald
Reply to: