Re: [OT] Performance von RAID und Dateisystem
Hallo Martin,
On Thu, Aug 02, 2012 at 03:14:33PM +0200, Martin Steigerwald wrote:
> Am Donnerstag, 2. August 2012 schrieb Helmuth Gronewold:
> > aktuell suche ich noch der richtigen Konfiguration für einen Backup-
> > Server. Dabei teste ich verschiedene RAID-Konfigurationen (Stripe-Size,
> > RAID10 / RAID50) und Dateisystemoptionen. Das Hardware-Setup sieht wie
> > folgt aus:
>
> Etwas, was auf RAID 5 basiert empfiehlt sich nur, wenn langsame
Schreibperformance tolerierbar ist.
>
> Und selbst dann: Wenn während eines langwierigen und aufwendigen
Recoveries eine weitere Platte ausfällt oder nur zeitweise Probleme hat,
dann ist das bei RAID 5 blöd. Weitere Infos:
danke für die Links. Ich hätte dazu schreiben sollen: das System ist der
dritte Backup-Server im Bunde und dient nur der Langzeitarchivierung.
Tagesaktuelle Backups werden direkt im RZ gemacht. Sollte das System von
dem wir hier sprechen mal 3 Tage ausfallen, ist das zu verkraften.
Aktuell ist es ja auch offline. Die Schreibperformance war auch mit dem
RAID5 aus 8 Festplatten gut genug. Ein rsync der nachts die Daten aus
den RZs geholt hat war immer in akzeptabler Zeit fertig. Problematisch
war und ist nur die Geschwindigkeit, mit der ich von dem Device/FS lesen
kann. Ich mache einmal die Woche von den Daten die auf dem Server liegen
ein Backup auf Band. Da sollte die Geschwindigkeit natürlich so hoch
sein beim lesen, dass ich 3,5TB Daten auch innerhalb eines Tages gesichert
kriege.
> Ein 3.2er-Backport-Kernel kann die Geschwindigkeit und Latenz
schonmal verbessern. Zwischen 2.6.32 und 3.2 liegen mehrere Runden
großer Umbauten am Block Layer.
>
Das werde ich testen. Ich war für eine Weile gezwungen OpenVZ
einzusetzen, damit ich auch die Datenbanken rüber gesichert kriege. Das
kann ich allerdings jetzt auch ohne virtualisierung machen.
> Die Stripe Size des Dateisystem ist an die Stripe Size des
RAID-Controllers anzupassen. Alleine diese Änderung kann einen
deutlichen Unterschied machen.
>
Das werde ich tun. Aktuell läuft ein Test. Ich habe das RAID jetzt zu
2 * 8 * RAID1 im RAID0 umgebaut und als Chunk-Size 64K gewählt, damit
ich bei der Stripe-Size bei 512K rauskomme. Ohne zu wissen ob ich
richtig liege, habe ich von einer 1M Stipe-Size abgesehen. Vielleicht
sollte ich diese auch noch kleiner wählen.
> > Die Dateien, die später auf dem Backup-Server liegen sind eher klein
> > (~1MB im Durchschnitt, wie auf Webhosting-Systemen mit sehr vielen
> > Dateien < 500KB). Das Volumen beträgt ca. 3,5 TB. Die Daten kommen aus
> > zwei Rechenzentren, werden jede Nacht via rsync geholt und liegen dann
> > dort bereit um sie auf Bänder zu sichern.
>
> Bei Ext4 dürfte die Metadaten-Performance – Anlegen, Löschen vieler
kleiner Dateien – immer noch etwas schneller sein. Zumindest auf einer
einzelnen Harddisk. XFS mit delaylog und einer optimierten Anzahl an
Allocation Groups kann jedoch gerade in einem Setup mit vielen Platten
zu einer ausgeglicheneren Performance führen.
>
> Write-Cache mit Batterie erhöht Geschwindigkeit...
>
Der Controller hat keine Batterie für den 512MB großen Cache. Die
Festplatten sind übrigens schnell genug um a) die 3GBit von SAS
auszureizen und b) den Cache immer konstant auf 50% zu halten.
Da mir die Schreibgeschwindigkeit eben nicht so wichtig wie die
Lesegeschwindigkeit ist - was ich jetzt mal ganz leichtsinnig weiter
behaupte :) - hilft mir der Cache sowieso garnicht bis kaum.
> > Gibt es ein Tool für die Kommandozeile, mit dem ich die wirklichen
> > Werte, zum Beispiel die Größenverteilung der Dateien, ermitteln kann?
>
> Was immer für dich wirkliche Werte sind.
>
Dass die meisten Dateien bei < 500KB liegen, ist erstmal nur ein
Schätzwert. Ich denke ich kenne das was ich da speichern muss ganz gut -
ganz genau kann ich es aber nicht sagen.
Gruß,
Helmuth
Reply to: