[Date Prev][Date Next] [Thread Prev][Thread Next] [Date Index] [Thread Index]

Re: schlechte Performance bei Sicherung



Hi Martin,

From: "Martin Klaiber"
Daniel Bauer <mlist@dsb-gmbh.de> wrote:

Die Frage ist also, wie bekomme ich eine bessere Leseperformance bei
den vielen Dateien?

Ich erinnere mich dunkel, dass ein typisches Problem traditioneller
Unix-Dateisysteme sei, dass die Transferrate umso stärker einbricht,
je mehr Dateien ein Verzeichnis enthält. Ob das für die heutzutage
üblichen Dateisysteme, wie ext3/ext4 noch gilt, weiß ich allerdings
nicht.

Aber Du könntest mal testen, ob das Sichern eines Verzeichnisses mit
wenigen großen Dateien schneller geht, als eines mit vielen kleinen.
Dann siehst Du, ob es daran liegt.

ich habe es mit:
tar -cpS (jeweiliges Verzeichnis) --atime-preserve --numeric-owner --ignore-failed-read --totals | mbuffer -p 75 -s 1M -b 8 -o /dev/nst0
getestet:

1000 Dateien mit je 3k
Gesamtzahl geschriebener Bytes: 3594240 (3,5MiB, 4,6MiB/s)
summary: 3510 kByte in  3.3 sec - average of 1080 kB/s

1000 Dateien mit je 1M
Gesamtzahl geschriebener Bytes: 1049098240 (1001MiB, 39MiB/s)
summary: 1000 MByte in 34.4 sec - average of 29.0 MB/s

4000 Dateien mit je 1M
Gesamtzahl geschriebener Bytes: 4196362240 (4,0GiB, 38MiB/s)
summary: 4002 MByte in  1 min 49.6 sec - average of 36.5 MB/s

80 Dateien mit je 50M
Gesamtzahl geschriebener Bytes: 4194355200 (4,0GiB, 117MiB/s)
summary: 4000 MByte in 35.3 sec - average of  113 MB/s

und daran sieht man, daß es an den kleinen Files liegt, ein Unterschied von 4,6 bis 117 MiB/s ist schon gravierend.

Jetzt stellt sich die Frage ist ext4 das "falsche" Dateisystem für mein Problem?

Gruß
Daniel
Reply to: