[Date Prev][Date Next] [Thread Prev][Thread Next] [Date Index] [Thread Index]

Problem mit rsync und Hardlinks (Diskspace explodiert)



Hallo Leute,

ich weis nicht, was passiert ist, aber  seitdem  ich  dem  Backup-Server
32 neue 2 TByte Festplatten verpaßt habe und das DIst-Upgrade  von  Etch
(wollte mit Volumes von 32 TByte nicht  arbeiten)  auf  Squeeze  gemacht
habe, geht hier einiges schief.

Die Incremental-Backups explodieren, sprich, sie haben  WESENTLICH  mehr
Diskspace Verbrauch als sie sollten.

Die Backups werden folgendermaßen gemacht

    1)  Wenn der Tag ein Montag ist oder noch kein Full-Backup in
        der Woche gemacht wurde, wird ein Full-Backup gemacht

    2)  Alle anderen Tage ein Incemental-Backup

Damit bei  einem  Full-Backup  nicht  jedesmal  >1,2 TByte  transferiert
werden müssen, kopiere ich das lezte Full-Backup mit

    cp -a ${LAST_FULL}/* ${NEW_BACKUP}/
    +
    rsync -v -e ssh -a root@${SERVER}:${SOURCE} ${NEW_BACKUP}/

damit werden auch Hardlinks de-refferenced.  Für das  Incremental-Backup
verwende ich immer das lezte Backup-Verzeichnis mit

    cp -a -l ${LAST_BACK}/* ${NEW_BACKUP}/
    +
    rsync -v -e ssh -a --delete root@${SERVER}:${SOURCE} ${NEW_BACKUP}/

Nun habe ich ein Problem mit meinem Sun Storage Server festgestellt, das
die 70 TByte verfügbarer Patz (2x 16 Platten mit 2 TByte ; 1x 16 Platten
mit 1 TByte ; Alles Raid-5 mit jeweils 16 PLatten) in  2 Monaten  nahezu
aufgebraucht sind...

Nun habe ich "du" über ein paar  Verzeichnisse  laufen  lassen  und  das
gefunden:

----[ command 'for NUM in 3 4 5 6 ; do du -smc RSYNC_*/2011-12-1${NUM}*/ ; echo ; done' ]--
364     RSYNC_dns1/2011-12-13_153502_full/
2621    RSYNC_intranet1_work1/2011-12-13_164623_full/
4064    RSYNC_mail/2011-12-13_154006_full/
825     RSYNC_vserver04/2011-12-13_163415_full/
7872    total

363     RSYNC_dns1/2011-12-14_040001_increment/
2622    RSYNC_intranet1_work1/2011-12-14_040826_increment/
4065    RSYNC_mail/2011-12-14_040026_increment/
411     RSYNC_tdcloud_storage000/2011-12-14_035609_full/
827     RSYNC_vserver04/2011-12-14_040727_increment/
8286    total

363     RSYNC_dns1/2011-12-15_091002_increment/
2622    RSYNC_intranet1_work1/2011-12-15_102320_increment/
4079    RSYNC_mail/2011-12-15_091501_increment/
416     RSYNC_tdcloud_storage000/2011-12-15_193114_increment/
832     RSYNC_vserver04/2011-12-15_100952_increment/
8309    total

2599    RSYNC_intranet1_work1/2011-12-16_040029_increment/
421     RSYNC_tdcloud_storage000/2011-12-16_040509_increment/
3020    total
--------------------------------------------------------------------------------

----[ command 'for NUM in 3 4 5 6 ; do du --apparent-size -smc RSYNC_*/2011-12-1${NUM}*/ ; echo ; done' ]--
345     RSYNC_dns1/2011-12-13_153502_full/
2475    RSYNC_intranet1_work1/2011-12-13_164623_full/
3829    RSYNC_mail/2011-12-13_154006_full/
728     RSYNC_vserver04/2011-12-13_163415_full/
7375    total

345     RSYNC_dns1/2011-12-14_040001_increment/
2476    RSYNC_intranet1_work1/2011-12-14_040826_increment/
3829    RSYNC_mail/2011-12-14_040026_increment/
398     RSYNC_tdcloud_storage000/2011-12-14_035609_full/
729     RSYNC_vserver04/2011-12-14_040727_increment/
7774    total

344     RSYNC_dns1/2011-12-15_091002_increment/
2476    RSYNC_intranet1_work1/2011-12-15_102320_increment/
3841    RSYNC_mail/2011-12-15_091501_increment/
403     RSYNC_tdcloud_storage000/2011-12-15_193114_increment/
734     RSYNC_vserver04/2011-12-15_100952_increment/
7795    total

2455    RSYNC_intranet1_work1/2011-12-16_040029_increment/
407     RSYNC_tdcloud_storage000/2011-12-16_040509_increment/
2862    total
--------------------------------------------------------------------------------

Normalerweise sollte lezterer Test die Hardlinks ausschließen und  der  effektiv
benötiget Platz nicht 25 GByte sondern so um die 10-12 GByte liegen oder  besser
gesagt, ein Full-Backup und  sechs  Incremental-Backup  sollten  den  benötigten
Backplatz gerade mal verdoppeln, wenn nichts nennenswertes neu installiert wurde

Irgend welche Ideen, was da schief läuft?

Was mich am meisten wurmt ist die "work1" aus meinem Intranet  im  Büro,
denn diese "Devel Workstation" wurde von mir leztes Wochenende  komplett
neu auf einem neuen Rechner installiert und noch nicht benutzt,  sprich,
Sie läuft derzeit einfach nur so mit.

Thanks, Greetings and nice Day/Evening
    Michelle Konzack

-- 
##################### Debian GNU/Linux Consultant ######################
   Development of Intranet and Embedded Systems with Debian GNU/Linux
               Internet Service Provider, Cloud Computing
                <http://www.itsystems.tamay-dogan.net/>
                  <http://www.debian.tamay-dogan.net/>

itsystems@tdnet                     Jabber  linux4michelle@jabber.ccc.de
Owner Michelle Konzack

Gewerbe Strasse 3                   Tel office: +49-176-86004575
77694 Kehl                          Tel mobil:  +49-177-9351947
Germany                             Tel mobil:  +33-6-61925193  (France)

USt-ID:  DE 278 049 239

Linux-User #280138 with the Linux Counter, http://counter.li.org/

Attachment: signature.pgp
Description: Digital signature


Reply to: