Am Mittwoch 24 September 2008 schrieb Michael Schuerig:
> On Wednesday 24 September 2008, Martin Steigerwald wrote:
> > Abgleich von 350GB? Das hängt von vielen Faktoren ab. Verwendetes
> > Dateisystem... Fragmentierung, Anzahl und durchschnittliche Größe der
> > Dateien, verwendete Hardware, Anbindung der Backup-Platte.
>
> Das sind bei mir nicht nur 350GB, sondern ~12 komplette Snapshots
> meines "Arbeits"dateisystems. Die trotzdem verhältnismäßig geringe
> Größe ergibt sich dadurch, dass rsnapshot wo möglich Hardlinks erzeugt.
Ich schrieb doch es hängt von weiteren Faktoren als der reinen GByte-Zahl
ab. Die Anzahl der Hardlinks nannte ich nicht. Sie ist jedoch in
zweierlei Hinsicht in wichtiger Faktor:
1) Sie erhöht die Anzahl der Verzeichniseinträge
2) rsync muss einen Extra-Aufwand treiben, um Hardlinks zu erkennen
Eine interessante Information wäre da durchaus, wieviele
Verzeichniseinträge das zu kopierende aus mehrere Snapshots bestehende
Backup hat. Die Anzahl der Dateien, die mehrere Hardlinks haben, lässt
sich offenbar nur über Umwege ermitteln:
martin@shambhala:~/Zeit/hardlinks> ls -iR | cut -d" " -f1 | sort |
uniq -c | grep -v " 1 "
3 540788341
2 540788343
Für die Gesamtzahl der Mehrfach-Hardlinks ließe sich das noch
zusammenaddieren.
Ich denke, aber die Anzahl der Verzeichniseinträge, oder eben nur Dateien
* einem geschätzten Prozentsatz dessen, was sich ändert, würde schon
reichen.
> > Inkrementelles 2-wöchtiges Komplettbackup von meinem T42 mit 12GB
> > System und 102GB /home ist in der Regel in 10-20 Minuten durch. Es
> > geht schon um einen Haufen Dateien und Verzeichnisse, über die rsync
> > drüberschradeln muss:
> Bei mir dauert ein einzelner Snapshot mit rsnapshot (rsync + cp -al)
> 75min. Darum geht es mir aber gerade gar nicht, vielmehr möchte ich
> gelegentlich von meiner Snapshot-Platte, also ~12 Snapshots mit ~350GB,
> ein Backup machen. Mit meinen bisherigen Methoden dauert das 15 bis 20
> Stunden und ist damit nicht praktikabel.
Hier wäre sinnvoll, zu schauen, was der limitierende Faktor ist. Die CPU?
Art und Menge des Hauptspeichers? Oder, was ich für nicht
unwahrscheinlich halte: Die Festplatte, der Controller und/oder das
verwendete Dateisystem?
Ein einfacher Blick auf top / ps aux während des Backups kann bereits
helfen. Sind die rsync-Prozesse überwiegend im Zustand D
(uninterruptible), warten sie also überwiegend auf die Ausführung von
Syscalls, also in der Regel IO-Anforderungen, dann ist das Speichersystem
zu langsam. Ist hingegen die CPU permanent am Anschlag, dann hilft
vielleicht eine schnellere CPU. Und wenn die Kiste beim Backup auslagert,
wäre mehr RAM einzubauen.
Ciao,
--
Martin 'Helios' Steigerwald - http://www.Lichtvoll.de
GPG: 03B0 0D6C 0040 0710 4AFA B82F 991B EAAC A599 84C7
Attachment:
signature.asc
Description: This is a digitally signed message part.