Re: [OT] Performance von RAID und Dateisystem
Helmuth Gronewold <hg@hr4you.de> writes:
> aktuell suche ich noch der richtigen Konfiguration für einen Backup-
> Server. Dabei teste ich verschiedene RAID-Konfigurationen (Stripe-Size,
> RAID10 / RAID50) und Dateisystemoptionen. Das Hardware-Setup sieht wie
> folgt aus:
Ich schreib erstmal, was ich vermutlich tun würde (und auch selbst
tue). Davon ausgehend lassen sich meine folgenden Empfehlungen
vielleicht besser einordnen. Also: Dummes SAS-Gehäuse (JBOD)
(z.B. Dell MD1200), mit passenden SATA- bzw. Nearline-SAS-Platten,
(z.B. 8*2TB). LSI-SAS-HBA, also z.B. unten angegebener SAS1068E
bzw. Nachfolger. Und Linux-SoftRAID (md-Treiber) mit RAID-5.
> 16 * 1TB SATA2 (WD Raid Edition 3 und 4, 7,2krpm) in einem Infortrend
> A16S-G2130, verbunden mit einem HP DL360g6 über SAS, 3Gbit.
Also wenn der im externen Gehäuse eingebaute RAID-Kontroller nicht so
toll ist, kann man nicht zaubern. (Und nach meiner Erfahrung sind die
immer zu langsam, deshalb bevorzuge ich Linux-SoftRAID.)
Insofern wäre es am besten, zu schauen, wie du ihn am besten
umgehst. Vielleicht so konfigurieren, daß Linux die Platten einzeln
sieht? Und darauf dann SoftRAID (RAID5).
Ich erhalte damit beim Backup lesend 80MB/s (mit JBOD, s.o.), insofern
halte ich was RAID-1-artiges für unnötig. Beim Schreiben ist RAID-5
etwas aufwendiger, aber die CPU-Last ist vernachlässigbar und bei
deiner Anwendung dominiert das Lesen.
Aus meiner Sicht ist ein höherer Redundanz-Level nicht nötig. Hier
fallen Platten selten genug aus. Wenn du glaubst es zu brauchen: Eine
Möglichkeit wäre RAID-6, aber das ist beim Schreiben deutlich
aufwendiger als RAID-5, da bei RAID-5 beim Ändern eines Datenblocks
auf zwei Platten je ein Block geschrieben werden muß und bei RAID-6
auf alle Platten ein Block (also so hab ichs verstanden...). Eine
Zwischenlösung, die ich früher mal genutzt habe, ist RAID-5 mit
Hotspare. Da läuft wenigstens nach Plattenausfall unverzüglich der
Rebuild los.
> Der DL360 hat 8GB RAM und einen Xeon 5506 mit 4 Cores.
(Für aktuelle Linux-Dateisystem gibt es die Empfehlung gelesen, pro TB
Platte mindestens ein GB RAM zu haben. Mach ich inzwischen auch, RAM
ist billig geworden. Die rsync-Prozesse brauchen auch Speicher, bei
vielen Datein auch viel Speicher.)
> Das ganze Setup war vorher etwas kleiner (8 * 1TB im RAID5), was gerade
> im 3/4 vollem Zustand eine Lese-Performance von < 10MB im Durchschnitt
> gebracht hat.
(Das klingt sehr wenig. Wie gesagt, ich würds auf den externen
RAID-Controller schieben.)
> Warum hebt ein pv die Geschwindigkeit um das vierfache an?
Hab ich keine Erklärung, hab keine Erfahrung mit dem Programm.
Sven
Reply to: