Re: rsync via ssh per default? Warum? Sehr viele kleine Dateien.
Hi Martin,
du hast vollkommen richtig erkannt.
btrfs ist auf beiden servern. Ja, ich weiĂź das es experimentell ist.
Ich benutze auch neusten kernel 3.5.
Da es um Replikation Server handelt, ist das verlieren der Daten kein Problem.
Beide die Systeme sind identisch.
Kernel: 3.5-trunk-amd64 #1 SMP Thu Aug 2 17:16:27 UTC 2012 x86_64 GNU/Linux
# btrfs filesystem df /
Data: total=401.01GB, used=304.14GB
System, DUP: total=8.00MB, used=64.00KB
System: total=4.00MB, used=0.00
Metadata, DUP: total=106.12GB, used=84.53GB
Metadata: total=8.00MB, used=0.00
# btrfs filesystem df /
Data: total=401.01GB, used=304.14GB
System, DUP: total=8.00MB, used=64.00KB
System: total=4.00MB, used=0.00
Metadata, DUP: total=106.12GB, used=84.53GB
Metadata: total=8.00MB, used=0.00
root@pushka5:~# btrfs fi show
Label: none uuid: 963bbad4-8a42-4fcc-9fa9-d0635e
Total devices 1 FS bytes used 388.67GB
devid 1 size 661.24GB used 613.29GB path /dev/sda5
Btrfs Btrfs v0.19
mount per fstab:
UUID=963bbad4-8a42-4fcc-9fa / btrfs defaults,discard,ssd
Es sind zwei SSD disks im Hardware Raid 0 verbund.
Ich starte keine mehreren Kopiervorgänge.
Eventuell beendete rsync die Kopiervorgänge nicht, und die Prozesse blieben.
Nach dem killall -9 rsync und halbe stunde laufen sehe ich nur 2 rsync processe.
# ps aux|grep rsync
root 3961 0.0 0.0 37136 1384 pts/1 S+ 15:18 0:00 su
XXX -c rsync -ahvz --append --links --exclude=*.pid
--exclude=*/Data.fs.* --exclude=*.log
rsync://vav@192.168.1.104/collector /home/XXX/
XXX 3962 49.3 0.3 270896 252300 ? Ss 15:18 2:35 rsync
-ahvz --append --links --exclude=*.pid --exclude=*/Data.fs.*
--exclude=*.log rsync://vav@192.168.1.104/collector /home/XXX/
XXX 3963 8.7 0.4 317816 282856 ? R 15:18 0:27 rsync
-ahvz --append --links --exclude=*.pid --exclude=*/Data.fs.*
--exclude=*.log rsync://vav@192.168.1.104/collector /home/XXX/
root 4059 0.0 0.0 7816 868 pts/0 S+ 15:23 0:00 grep rsync
Wie schon vorher erwähnt läuft alles mittlerweile über ein rsync
daemon ohne ssh.
[QUELL SYSTEM] rsyncd.conf Konfig:
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
strict modes = false
uid = XXX
#nobody
gid = nogroup
max connections = 10
socket options = SO_KEEPALIVE
[XXX]
path = /home/XXX
comment = Image Archive (lot of GB)
read only = true
hosts allow = 192.168.1.102/255.255.255.0
#secrets file = /etc/rsyncd/debian.secrets
[Ziehl system]
rsync -ahvz --append --links --exclude="*.log"
rsync://vav@192.168.1.104/XXX /home/XXX/
Problem ist das auf dem QUELL system läuft steigt der Speicher
verbrauch mit jeder Minute.
Nach einer halben Stunde bleiben sind von 64GB RAM 40GB belegt.
Irgend wann hängt sich der Server auf mit der Meldung (siehe screen)
Generäl mach mich der speicher verbrauch von rsync etwas skeptisch.
Was kann man da machen? Kann man maximalen Speicher ohne Riesen
Aufwand verbrauch steuern?
Über das Problem hatte ich heute von ein Tread eröffnet.
http://lists.debian.org/debian-user-german/2012/10/msg00047.html
Sorry fĂĽr lange mail, ich habe versucht alles relevante zusammen
zustellen. Bin fĂĽr Tips aller Art sehr dankbar.
ps: was ist mit unison? Hat es jemand erfolgreich im Einsatz?
GruĂź
Vladislav
Am 7. Oktober 2012 05:35 schrieb Vladislav Vorobiev <mymir.org@googlemail.com>:
> Hi Martin,
>
> du hast vollkommen richtig erkannt.
>
> btrfs ist auf beiden servern. Ja, ich weiĂź das es experimentell ist.
> Ich benutze auch neusten kernel 3.5.
> Da es um Replikation Server handelt, ist das verlieren der Daten kein Problem.
>
> Beide die Systeme sind identisch.
>
> Kernel: 3.5-trunk-amd64 #1 SMP Thu Aug 2 17:16:27 UTC 2012 x86_64 GNU/Linux
>
> # btrfs filesystem df /
> Data: total=401.01GB, used=304.14GB
> System, DUP: total=8.00MB, used=64.00KB
> System: total=4.00MB, used=0.00
> Metadata, DUP: total=106.12GB, used=84.53GB
> Metadata: total=8.00MB, used=0.00
>
> # btrfs filesystem df /
> Data: total=401.01GB, used=304.14GB
> System, DUP: total=8.00MB, used=64.00KB
> System: total=4.00MB, used=0.00
> Metadata, DUP: total=106.12GB, used=84.53GB
> Metadata: total=8.00MB, used=0.00
> root@pushka5:~# btrfs fi show
> Label: none uuid: 963bbad4-8a42-4fcc-9fa9-d0635e
> Total devices 1 FS bytes used 388.67GB
> devid 1 size 661.24GB used 613.29GB path /dev/sda5
>
> Btrfs Btrfs v0.19
>
> mount per fstab:
>
> UUID=963bbad4-8a42-4fcc-9fa / btrfs defaults,discard,ssd
>
> Es sind zwei SSD disks im Hardware Raid 0 verbund.
>
> Ich starte keine mehreren Kopiervorgänge.
> Eventuell beendete rsync die Kopiervorgänge nicht, und die Prozesse blieben.
> Nach dem killall -9 rsync und halbe stunde laufen sehe ich nur 2 rsync processe.
>
> # ps aux|grep rsync
> root 3961 0.0 0.0 37136 1384 pts/1 S+ 15:18 0:00 su
> XXX -c rsync -ahvz --append --links --exclude=*.pid
> --exclude=*/Data.fs.* --exclude=*.log
> rsync://vav@192.168.1.104/collector /home/XXX/
> XXX 3962 49.3 0.3 270896 252300 ? Ss 15:18 2:35 rsync
> -ahvz --append --links --exclude=*.pid --exclude=*/Data.fs.*
> --exclude=*.log rsync://vav@192.168.1.104/collector /home/XXX/
> XXX 3963 8.7 0.4 317816 282856 ? R 15:18 0:27 rsync
> -ahvz --append --links --exclude=*.pid --exclude=*/Data.fs.*
> --exclude=*.log rsync://vav@192.168.1.104/collector /home/XXX/
> root 4059 0.0 0.0 7816 868 pts/0 S+ 15:23 0:00 grep rsync
>
> Wie schon vorher erwähnt läuft alles mittlerweile über ein rsync
> daemon ohne ssh.
>
> [QUELL SYSTEM] rsyncd.conf Konfig:
>
> log file = /var/log/rsyncd.log
> pid file = /var/run/rsyncd.pid
> lock file = /var/run/rsync.lock
>
> strict modes = false
> uid = XXX
> #nobody
> gid = nogroup
> max connections = 10
> socket options = SO_KEEPALIVE
>
> [XXX]
> path = /home/XXX
> comment = Image Archive (lot of GB)
> read only = true
> hosts allow = 192.168.1.102/255.255.255.0
> #secrets file = /etc/rsyncd/debian.secrets
>
> [Ziehl system]
>
> rsync -ahvz --append --links --exclude="*.log"
> rsync://vav@192.168.1.104/XXX /home/XXX/
>
> Problem ist das auf dem QUELL system läuft steigt der Speicher
> verbrauch mit jeder Minute.
>
> Nach einer halben Stunde bleiben sind von 64GB RAM 40GB belegt.
> Irgend wann hängt sich der Server auf mit der Meldung (siehe screen)
>
> Generäl mach mich der speicher verbrauch von rsync etwas skeptisch.
>
> Was kann man da machen? Kann man maximalen Speicher ohne Riesen
> Aufwand verbrauch steuern?
>
> Über das Problem hatte ich heute von ein Tread eröffnet.
>
> http://lists.debian.org/debian-user-german/2012/10/msg00047.html
>
> Sorry fĂĽr lange mail, ich habe versucht alles relevante zusammen
> zustellen. Bin fĂĽr Tips aller Art sehr dankbar.
>
> ps: was ist mit unison? Hat es jemand erfolgreich im Einsatz?
>
> GruĂź
> Vladislav
>
>
> Am 27. September 2012 10:21 schrieb Martin Steigerwald <Martin@lichtvoll.de>:
>> Am Dienstag, 25. September 2012 schrieb Zuzukov Zuzu:
>>
>> [… viele rsync-Prozesse …]
>>> 192.168.1.104 rsync --server --sender -vlogDtprze.iLsf --append
>>> 14512 root 20 0 0 0 0 R 8 0.0 0:32.35
>>> [btrfs-endio-met]
>>> 78 root 20
>>
>> Ist bei der Geschichte in irgendeiner Form - Quelle oder Ziel - ein BTRFS-
>> Dateisystem beteiligt?
>>
>> Wenn ja: Ist Dir bekannt, dass BTRFS noch im unfertigen Entwickler-Status
>> ist und dass deren Entwickler nahelegen, bei Verwendung von BTRFS
>> bitteschön den neuesten Kernel zu verwenden, bevor man einen Fehlerbericht
>> abliefert?
>>
>> Wenn ja, dann offenbare dochmal bitte
>>
>> - Kernel-Version
>> - btrfs filesystem df /mountpunkt
>> - btrfs fi show (mit anonymisierter UUID, wenn Du möchtest)
>>
>> Wenn nein, dann vergiss diesen Abschnitt ;)
>>
>>
>>
>> Und warum hast Du so viele rsync-Prozesse? Läßt Du mehrere Kopiervorgänge
>> parallel laufen?
>>
>> Und auf was fĂĽr einer Hardware, Festplatten usw. usf.? Deinem
>> Fehlerbericht fehlen in etwa alle Informationen, die erforderlich sind, um
>> Dir weiterzuhelfen, wirklich herauszufinden, warum es langsam ist.
>> Inklusive der Fehlermeldung von rsync beim Abbruch.
>>
>> Und meine Glaskugel hat gerade mal wieder Urlaub… wenn es also mehr als
>> herumraten sein darf, gib bitte weitere Informationen…
>>
>> --
>> Martin 'Helios' Steigerwald - http://www.Lichtvoll.de
>> GPG: 03B0 0D6C 0040 0710 4AFA B82F 991B EAAC A599 84C7
>>
>>
>> --
>> Zum AUSTRAGEN schicken Sie eine Mail an debian-user-german-REQUEST@lists.debian.org
>> mit dem Subject "unsubscribe". Probleme? Mail an listmaster@lists.debian.org (engl)
>> Archive: http://lists.debian.org/201209271621.17015.Martin@lichtvoll.de
>>
>
>
>
> --
> Best Regards
> Vlad Vorobiev
--
Best Regards
Vlad Vorobiev
Reply to: