Hi Martin, From: "Martin Klaiber"
Daniel Bauer <mlist@dsb-gmbh.de> wrote:Die Frage ist also, wie bekomme ich eine bessere Leseperformance bei den vielen Dateien?Ich erinnere mich dunkel, dass ein typisches Problem traditioneller Unix-Dateisysteme sei, dass die Transferrate umso stärker einbricht, je mehr Dateien ein Verzeichnis enthält. Ob das für die heutzutage üblichen Dateisysteme, wie ext3/ext4 noch gilt, weiß ich allerdings nicht. Aber Du könntest mal testen, ob das Sichern eines Verzeichnisses mit wenigen großen Dateien schneller geht, als eines mit vielen kleinen. Dann siehst Du, ob es daran liegt.
ich habe es mit:tar -cpS (jeweiliges Verzeichnis) --atime-preserve --numeric-owner --ignore-failed-read --totals | mbuffer -p 75 -s 1M -b 8 -o /dev/nst0
getestet: 1000 Dateien mit je 3k Gesamtzahl geschriebener Bytes: 3594240 (3,5MiB, 4,6MiB/s) summary: 3510 kByte in 3.3 sec - average of 1080 kB/s 1000 Dateien mit je 1M Gesamtzahl geschriebener Bytes: 1049098240 (1001MiB, 39MiB/s) summary: 1000 MByte in 34.4 sec - average of 29.0 MB/s 4000 Dateien mit je 1M Gesamtzahl geschriebener Bytes: 4196362240 (4,0GiB, 38MiB/s) summary: 4002 MByte in 1 min 49.6 sec - average of 36.5 MB/s 80 Dateien mit je 50M Gesamtzahl geschriebener Bytes: 4194355200 (4,0GiB, 117MiB/s) summary: 4000 MByte in 35.3 sec - average of 113 MB/sund daran sieht man, daß es an den kleinen Files liegt, ein Unterschied von 4,6 bis 117 MiB/s ist schon gravierend.
Jetzt stellt sich die Frage ist ext4 das "falsche" Dateisystem für mein Problem?
GrußDaniel