Re: rsync via ssh per default? Warum? Sehr viele kleine Dateien.

To: debianuser <debian-user-german@lists.debian.org>
Subject: Re: rsync via ssh per default? Warum? Sehr viele kleine Dateien.
From: Vladislav Vorobiev <mymir.org@googlemail.com>
Date: Sun, 7 Oct 2012 06:56:05 -0400
Message-id: <[🔎] CADmZVq98K3j5p8pbx1uDg1qBXidLL1d+EPPTDqhVu_OSDjumoQ@mail.gmail.com>
In-reply-to: <CADmZVq8yAatKUSX3eCbTSXtNVBXR=PHpY4ydHOwQP7KECGiW1w@mail.gmail.com>
References: <CADmZVq9q8-HPhd3KhJoBH6YoP0Ce0Wi12TsM2NhuV5WfVKbMVA@mail.gmail.com> <CADmZVq96_eZ7504hpkKxMKe4Bu1nDSRnpBY+E_S8RhzEW_3xKw@mail.gmail.com> <201209271621.17015.Martin@lichtvoll.de> <CADmZVq8yAatKUSX3eCbTSXtNVBXR=PHpY4ydHOwQP7KECGiW1w@mail.gmail.com>

Hi Martin,

du hast vollkommen richtig erkannt.

btrfs ist auf beiden servern. Ja, ich weiß das es experimentell ist.
Ich benutze auch neusten kernel 3.5.
Da es um Replikation Server handelt, ist das verlieren der Daten kein Problem.

Beide die Systeme sind identisch.

Kernel: 3.5-trunk-amd64 #1 SMP Thu Aug 2 17:16:27 UTC 2012 x86_64 GNU/Linux

# btrfs filesystem df /
Data: total=401.01GB, used=304.14GB
System, DUP: total=8.00MB, used=64.00KB
System: total=4.00MB, used=0.00
Metadata, DUP: total=106.12GB, used=84.53GB
Metadata: total=8.00MB, used=0.00

# btrfs filesystem df /
Data: total=401.01GB, used=304.14GB
System, DUP: total=8.00MB, used=64.00KB
System: total=4.00MB, used=0.00
Metadata, DUP: total=106.12GB, used=84.53GB
Metadata: total=8.00MB, used=0.00
root@pushka5:~# btrfs fi show
Label: none  uuid: 963bbad4-8a42-4fcc-9fa9-d0635e
        Total devices 1 FS bytes used 388.67GB
        devid    1 size 661.24GB used 613.29GB path /dev/sda5

Btrfs Btrfs v0.19

mount per fstab:

UUID=963bbad4-8a42-4fcc-9fa /               btrfs defaults,discard,ssd

Es sind zwei SSD disks im Hardware Raid 0 verbund.

Ich starte keine mehreren Kopiervorgänge.
Eventuell beendete rsync die Kopiervorgänge nicht, und die Prozesse blieben.
Nach dem killall -9 rsync und halbe stunde laufen sehe ich nur 2 rsync processe.

# ps  aux|grep rsync
root      3961  0.0  0.0  37136  1384 pts/1    S+   15:18   0:00 su
XXX -c rsync -ahvz --append --links --exclude=*.pid
--exclude=*/Data.fs.* --exclude=*.log
rsync://vav@192.168.1.104/collector /home/XXX/
XXX      3962 49.3 0.3 270896 252300 ?       Ss   15:18   2:35 rsync
-ahvz --append --links --exclude=*.pid --exclude=*/Data.fs.*
--exclude=*.log rsync://vav@192.168.1.104/collector /home/XXX/
XXX      3963  8.7  0.4 317816 282856 ?       R    15:18   0:27 rsync
-ahvz --append --links --exclude=*.pid --exclude=*/Data.fs.*
--exclude=*.log rsync://vav@192.168.1.104/collector /home/XXX/
root      4059  0.0  0.0   7816   868 pts/0    S+   15:23   0:00 grep rsync

Wie schon vorher erwähnt läuft alles mittlerweile über ein rsync
daemon ohne ssh.

[QUELL SYSTEM] rsyncd.conf Konfig:

log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock

strict modes = false
uid = XXX
#nobody
gid = nogroup
max connections = 10
socket options = SO_KEEPALIVE

[XXX]
  path = /home/XXX
  comment = Image Archive (lot of GB)
  read only = true
  hosts allow = 192.168.1.102/255.255.255.0
  #secrets file = /etc/rsyncd/debian.secrets

[Ziehl system]

rsync -ahvz --append --links  --exclude="*.log"
rsync://vav@192.168.1.104/XXX /home/XXX/

Problem ist das auf dem QUELL system läuft steigt der Speicher
verbrauch mit jeder Minute.

Nach einer halben Stunde bleiben sind von 64GB RAM 40GB belegt.
Irgend wann hängt sich der Server auf mit der Meldung (siehe screen)

Generäl mach mich der speicher verbrauch von rsync etwas skeptisch.

Was kann man da machen? Kann man maximalen Speicher ohne Riesen
Aufwand verbrauch steuern?

Über das Problem hatte ich heute von ein Tread eröffnet.

http://lists.debian.org/debian-user-german/2012/10/msg00047.html

Sorry für lange mail, ich habe versucht alles relevante zusammen
zustellen. Bin für Tips aller Art sehr dankbar.

ps: was ist mit unison? Hat es jemand erfolgreich im Einsatz?

Gruß
Vladislav


Am 7. Oktober 2012 05:35 schrieb Vladislav Vorobiev <mymir.org@googlemail.com>:
> Hi Martin,
>
> du hast vollkommen richtig erkannt.
>
> btrfs ist auf beiden servern. Ja, ich weiß das es experimentell ist.
> Ich benutze auch neusten kernel 3.5.
> Da es um Replikation Server handelt, ist das verlieren der Daten kein Problem.
>
> Beide die Systeme sind identisch.
>
> Kernel: 3.5-trunk-amd64 #1 SMP Thu Aug 2 17:16:27 UTC 2012 x86_64 GNU/Linux
>
> # btrfs filesystem df /
> Data: total=401.01GB, used=304.14GB
> System, DUP: total=8.00MB, used=64.00KB
> System: total=4.00MB, used=0.00
> Metadata, DUP: total=106.12GB, used=84.53GB
> Metadata: total=8.00MB, used=0.00
>
> # btrfs filesystem df /
> Data: total=401.01GB, used=304.14GB
> System, DUP: total=8.00MB, used=64.00KB
> System: total=4.00MB, used=0.00
> Metadata, DUP: total=106.12GB, used=84.53GB
> Metadata: total=8.00MB, used=0.00
> root@pushka5:~# btrfs fi show
> Label: none  uuid: 963bbad4-8a42-4fcc-9fa9-d0635e
>         Total devices 1 FS bytes used 388.67GB
>         devid    1 size 661.24GB used 613.29GB path /dev/sda5
>
> Btrfs Btrfs v0.19
>
> mount per fstab:
>
> UUID=963bbad4-8a42-4fcc-9fa /               btrfs defaults,discard,ssd
>
> Es sind zwei SSD disks im Hardware Raid 0 verbund.
>
> Ich starte keine mehreren Kopiervorgänge.
> Eventuell beendete rsync die Kopiervorgänge nicht, und die Prozesse blieben.
> Nach dem killall -9 rsync und halbe stunde laufen sehe ich nur 2 rsync processe.
>
> # ps  aux|grep rsync
> root      3961  0.0  0.0  37136  1384 pts/1    S+   15:18   0:00 su
> XXX -c rsync -ahvz --append --links --exclude=*.pid
> --exclude=*/Data.fs.* --exclude=*.log
> rsync://vav@192.168.1.104/collector /home/XXX/
> XXX      3962 49.3 0.3 270896 252300 ?       Ss   15:18   2:35 rsync
> -ahvz --append --links --exclude=*.pid --exclude=*/Data.fs.*
> --exclude=*.log rsync://vav@192.168.1.104/collector /home/XXX/
> XXX      3963  8.7  0.4 317816 282856 ?       R    15:18   0:27 rsync
> -ahvz --append --links --exclude=*.pid --exclude=*/Data.fs.*
> --exclude=*.log rsync://vav@192.168.1.104/collector /home/XXX/
> root      4059  0.0  0.0   7816   868 pts/0    S+   15:23   0:00 grep rsync
>
> Wie schon vorher erwähnt läuft alles mittlerweile über ein rsync
> daemon ohne ssh.
>
> [QUELL SYSTEM] rsyncd.conf Konfig:
>
> log file = /var/log/rsyncd.log
> pid file = /var/run/rsyncd.pid
> lock file = /var/run/rsync.lock
>
> strict modes = false
> uid = XXX
> #nobody
> gid = nogroup
> max connections = 10
> socket options = SO_KEEPALIVE
>
> [XXX]
>   path = /home/XXX
>   comment = Image Archive (lot of GB)
>   read only = true
>   hosts allow = 192.168.1.102/255.255.255.0
>   #secrets file = /etc/rsyncd/debian.secrets
>
> [Ziehl system]
>
> rsync -ahvz --append --links  --exclude="*.log"
> rsync://vav@192.168.1.104/XXX /home/XXX/
>
> Problem ist das auf dem QUELL system läuft steigt der Speicher
> verbrauch mit jeder Minute.
>
> Nach einer halben Stunde bleiben sind von 64GB RAM 40GB belegt.
> Irgend wann hängt sich der Server auf mit der Meldung (siehe screen)
>
> Generäl mach mich der speicher verbrauch von rsync etwas skeptisch.
>
> Was kann man da machen? Kann man maximalen Speicher ohne Riesen
> Aufwand verbrauch steuern?
>
> Über das Problem hatte ich heute von ein Tread eröffnet.
>
> http://lists.debian.org/debian-user-german/2012/10/msg00047.html
>
> Sorry für lange mail, ich habe versucht alles relevante zusammen
> zustellen. Bin für Tips aller Art sehr dankbar.
>
> ps: was ist mit unison? Hat es jemand erfolgreich im Einsatz?
>
> Gruß
> Vladislav
>
>
> Am 27. September 2012 10:21 schrieb Martin Steigerwald <Martin@lichtvoll.de>:
>> Am Dienstag, 25. September 2012 schrieb Zuzukov Zuzu:
>>
>> [… viele rsync-Prozesse …]
>>> 192.168.1.104 rsync --server --sender -vlogDtprze.iLsf --append
>>> 14512 root      20   0     0    0    0 R     8  0.0   0:32.35
>>> [btrfs-endio-met]
>>>    78 root      20
>>
>> Ist bei der Geschichte in irgendeiner Form - Quelle oder Ziel - ein BTRFS-
>> Dateisystem beteiligt?
>>
>> Wenn ja: Ist Dir bekannt, dass BTRFS noch im unfertigen Entwickler-Status
>> ist und dass deren Entwickler nahelegen, bei Verwendung von BTRFS
>> bitteschön den neuesten Kernel zu verwenden, bevor man einen Fehlerbericht
>> abliefert?
>>
>> Wenn ja, dann offenbare dochmal bitte
>>
>> - Kernel-Version
>> - btrfs filesystem df /mountpunkt
>> - btrfs fi show (mit anonymisierter UUID, wenn Du möchtest)
>>
>> Wenn nein, dann vergiss diesen Abschnitt ;)
>>
>>
>>
>> Und warum hast Du so viele rsync-Prozesse? Läßt Du mehrere Kopiervorgänge
>> parallel laufen?
>>
>> Und auf was für einer Hardware, Festplatten usw. usf.? Deinem
>> Fehlerbericht fehlen in etwa alle Informationen, die erforderlich sind, um
>> Dir weiterzuhelfen, wirklich herauszufinden, warum es langsam ist.
>> Inklusive der Fehlermeldung von rsync beim Abbruch.
>>
>> Und meine Glaskugel hat gerade mal wieder Urlaub… wenn es also mehr als
>> herumraten sein darf, gib bitte weitere Informationen…
>>
>> --
>> Martin 'Helios' Steigerwald - http://www.Lichtvoll.de
>> GPG: 03B0 0D6C 0040 0710 4AFA  B82F 991B EAAC A599 84C7
>>
>>
>> --
>> Zum AUSTRAGEN schicken Sie eine Mail an debian-user-german-REQUEST@lists.debian.org
>> mit dem Subject "unsubscribe". Probleme? Mail an listmaster@lists.debian.org (engl)
>> Archive: http://lists.debian.org/201209271621.17015.Martin@lichtvoll.de
>>
>
>
>
> --
> Best Regards
> Vlad Vorobiev



-- 
Best Regards
Vlad Vorobiev

Reply to:

Follow-Ups:
- Re: rsync via ssh per default? Warum? Sehr viele kleine Dateien.
  - From: Martin Steigerwald <Martin@lichtvoll.de>

Prev by Date: Re: Hängt, aut of memory mit 64 GB Ram...
Next by Date: Re: Hängt, aut of memory mit 64 GB Ram...
Previous by thread: Re: Hängt, aut of memory mit 64 GB Ram...
Next by thread: Re: rsync via ssh per default? Warum? Sehr viele kleine Dateien.
Index(es):
- Date
- Thread