[Date Prev][Date Next] [Thread Prev][Thread Next] [Date Index] [Thread Index]

Re: deutlich größerer "disk usage"-Wert (du -h) als die Dateigröße über "ls -h" - Problem teilweise gefunden



Hallo Heiko,

vielen lieben Dank für Deine Rückantwort.

On 09.12.13 13:10, Heiko Schlittermann wrote:
Heiko Schlittermann <hs@schlittermann.de> (Mo 09 Dez 2013 13:03:34 CET):
Moin,

Thomas Mueller <mueller@pks.mpg.de> (Mo 09 Dez 2013 11:13:45 CET):
…
Unter Debian 7 sichere ich per Skript ein LVM-Volume per dump (aus
dem vorher angelegten LVM-snapshot).
Das Backup wird dabei auf eine NFS3-Freigabe gesichert.
Was ist dort für ein Filesystem da unter dem NFS?
Ist das ein „kommerzieller“ Filer oder ein normales Linux mit ein paar
NFS-Exports?

Es ist ein NFS-Kernel-Server von Debian 7 mit xfs-Dateisystem welches ich direkt auf "/dev/sdb" gelegt habe.
Ansonsten ein ganz normaler HP-Proliant-Server mit 6 mal 500 GB Festplatte als Raid 5 für das "/dev/sdb".

Mir fiele auf Anhieb Pre-Allocation ein, vielleicht macht dump(8)
soetwas. Wobei ich keine Indizien dafür finde (gesucht mit strace und
auch in den Quellenvon dump 0.4b44).

Ich habe aber gerade etwas neues gefunden, was weiter helfen sollte:

Das Problem scheint durch NFS3 zu kommen und tritt nur bei größeren Dateien auf.
Kopiert man die Originaldatei über die NFS3-Freigabe und sorgt dabei für weitere Last auf den Server so entstehen
unterschiedliche "du"-Werte. Ohne NFS entstehen natürlich keine größeren Dateien beim Kopieren.

Hier die Bsp-Größen, wenn man über NFS (also am NFS-Client) kopiert:
# cp system.lvm.dump system.lvm.dump.cp-nfs_test1
# cp system.lvm.dump system.lvm.dump.cp-nfs_test2
# cp system.lvm.dump system.lvm.dump.cp-nfs_test3

# du -sh system.lvm.dump*
8.1G    system.lvm.dump
5.6G    system.lvm.dump.cp-nfs_test1
8.4G    system.lvm.dump.cp-nfs_test2
5.0G    system.lvm.dump.cp-nfs_test3
# ls -lh system.lvm.dump*
-rw-r--r-- 1 nobody nogroup 4.5G Nov 29 13:04 system.lvm.dump
-rw-r--r-- 1 nobody nogroup 4.5G Dec  9 13:32 system.lvm.dump.cp-nfs_test1
-rw-r--r-- 1 nobody nogroup 4.5G Dec  9 13:35 system.lvm.dump.cp-nfs_test2
-rw-r--r-- 1 nobody nogroup 4.5G Dec  9 13:37 system.lvm.dump.cp-nfs_test3
#
Bei kleinen Dateien tritt das Problem nicht auf. Vielleicht, da diese besser in einen Puffer passen.

Scheinbar reserviert NFS3 bei großen Dateien hier je nach Last unterschiedlich viel Speicherplatz (zumindest bei XFS).
Das sieht für mich eher nach einen Bug aus (wo auch immer der Fehler liegt), oder ?

Viele Grüße,

Thomas


-- 
Thomas Mueller
Max-Planck-Institut fuer Physik komplexer Systeme
Noethnitzer Strasse 38
01187 Dresden
Germany

email: mueller@pks.mpg.de
phone: +49 351 871 2114
room:  2 A 14

Reply to: