Problem mit mdadm, performance beim Kopieren und Loop-AES
debian_user_2009@gmx.de
jacl$§§"fda3DD243
Hallo Leute,
Ich bin noch recht unwissend im Bereich Linux, daher hätte ich mal ein
Fragen. Aber erstmal zu der System-Config:
- Intel Quad Q9400s
- 4 GB Arbeitsspeicher
- 2x Network RTL8111C von Realtek (onBoard)
- 7x1,5 TB und 1x200GB Festplatten
- Digitus DS-30104, PCIe x4 Sata-Controller
- Als OS ist seit Montag Debian 5 installiert nur Standart
- Die 7 Platten sind als mdadm Raid im Verbund Raid6 erstellt
- md0 ist mit Loop-AES 2048bit verschlüsselt
- Samba-Server ist konfiguriert
- Bis auf den unten angegebenen Paketen sowie rsync, openssh-server,
samba, hddtemp und den mc habe ich nichts weiter installiert!
Aber nun zum Problem.
- Wenn ich per Windoof über Samba auf die Systemplatte schreibe/lese
komme ich auf ca. 40/60 MB/s
- Wenn ich per Windoof über Samba auf das Raid schreibe/lese komme ich
auf ca. max. 50/60 MB/s aber in Regelmäßigen Abständen passiert
für 2-4 sec nichts und dann geht es mit 20 MB/s weiter aber mit
steigender Tendenz.
- Wenn ich auf der Konsole per rsync, cp oder im mc, von einen Share auf
einen anderen Server, Daten auf die Systemplatte schreibe kommen Werte
im Bereich 15-20 MB/s zustande.
- Wenn ich auf der Konsole per rsync, cp oder im mc, von einen Share auf
einen anderen Server, Daten auf das Raid schreibe kommen Werte im
Bereich 10-15 MB/s zustande plus den regelmäßigen Aussetzern wie es
schon von Windoof.
ABER:
- Wenn der andere Server den Share von mir mountet (Systemplatte) und
dann per mc oder rsync liest und schreibt kommen Werte über 40 MB/s
dabei raus.
- Per Windoof kann ich lesen/schreiben auf den anderen Server mit
70/50 MB/s
Ich weiß echt nicht mehr weiter. Was mich halt verrückt macht, ist das
über Windoof und dem anderen Server ist es so schnell aber über die
Konsole selber nicht! Und die Aussetzer kann ich echt nicht
nachvollziehen! Die CPU ist "gelangweilt" mit ca. 20%-40% und an dem
Netzwerk kann es eigendlich auch nicht liegen.
Für Ratschläge wäre ich echt dankbar!
Folgende Szenarien habe ich schon getestet:
- aktuellsten Treiber für die Netzwerkikarte eingebunden
- kernelparameter "scheduler=as" im grub anhängen
Beides Hinweise auf einem Forum
- Test1:
Neuinstallation vom OS
Raid wieder aktiviert --> alles wie gehabt mit den Problemen
- Test2:
Raid löschen und neu Aufbauen OHNE Verschlüsselung sowie 6 Platten auf
dem Onboard SATA-Ports ohne die Sata-4-Port-Erweiterung.
Siehe da ich habe keine "Aussetzer" mehr auf das Raid.
Schreiben/Lesen 50/60 MB/s
- Test3:
Das in Test2 aufgebaute Raid Verschlüsselt.
Bei dem Test sind die Aussetzer wieder da und Problem besteht
immer noch beim Kopieren über Konsole mit der Geschwindigkeit!
- Test4:
Raid neu erstellt mit alles 7 Platten über den SATA-Controller
OHNE Verschlüsselung und siehe da, es kommt zu keinen Aussetzern.
- Test5:
Das in Test4 aufgebaute Raid Verschlüsselt.
Bei dem Test sind die Aussetzer wieder da und Problem besteht
immer noch beim Kopieren über Konsole mit der Geschwindigkeit!
- Test6:
Da es evt auch an der Art der Verschlüsselung liegen könnte, habe
ich mal das Raid mit dm-crypt erstellt. Aber auch hier läuft es
einfach nicht besser!! Erstellt laut:
http://www.linuxforen.de/forums/showthread.php?p=1317082#post1317082
Da alles sehr gut Dokumentiert ist, hier der Ablauf:
Raid:
mdadm --create --verbose /dev/md0 --auto=yes --level=6 --raid-devices=7
/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1 /dev/sdg1 /dev/sdh1
Verschlüsselung:
Part1
aptitude install loop-aes-utils loop-aes-source
m-a update
m-a prepare
m-a build loop-aes
dpkg -i /usr/src/loop-aes-modules-2.6.26-2-amd64_3.2c-2+2.6.26-19_amd64.deb
modprobe -r loop
modprobe loop
losetup -e AES2048 /dev/loop0 /dev/md0
mkfs.ext3 /dev/loop0
losetup -d /dev/loop0
mount -t ext3 /dev/md0 /raid -o loop=/dev/loop0,encryption=AES2048
Part2
apt-get install cryptsetup dmsetup hashalot
cryptsetup -c aes-cbc-essiv:sha256 -y luksFormat /dev/md0
cryptsetup luksOpen /dev/md0 raid
mkfs.ext3 /dev/mapper/raid
mount /dev/mapper/raid /raid
--
GRATIS für alle GMX-Mitglieder: Die maxdome Movie-FLAT!
Jetzt freischalten unter http://portal.gmx.net/de/go/maxdome01
Reply to: