Re: SCSI/LTO3-Performance
Am Mon, 5 Nov 2007 11:03:31 +0000 (GMT)
schrieb Thomas H <thohal84@yahoo.de>:
> Hallo zusammen,
>
> ich habe einen neuen Server, der als Backup-Maschine herhalten soll,
> bekommen.
>
> Es handelt sich hierbei um einen RX300S2 von FSC. Zusätzlich wurde
> eine 2Kanal-SCSI-Raid-Controller verbaut, an den 2 Disc-Enclosures
> angeschlossen sind verbaut. Der Raid-Controller ist ein HP NetRAID 2M
>
> Ausgabe von lspci
> 03:00.0 RAID bus controller: American Megatrends Inc. MegaRAID (rev
> 25)
>
> An diesen RAID-Controller sind nun 6x73GB 10k-HDDs und 11x146GB 10k
> HDDs angeschlossen. Jeweils u160-Platten in einem Raid5-Verbund.
>
> Die 146-Platten waren zuvor schon im Einsatz und brachten am alten
> Server (HP NetServer TC4100) ca 180 MB/s im Schreiben und ca 300 MB/s
> im Lesen. Da der Server zu schwachbrüstig war wurde er eben durch
> diesen ersetzt, der mir allerdings grad nur kummer bereitet, da er
> überhaupt nicht in die Pötte kommt - die Performance ist zum
> Weglaufen....
>
> So mal ein paar Daten:
>
> - 10 GB Testdatei generieren
>
> # mount /dev/debian/bigg /mnt/
> # dd if=/dev/zero of=/mnt/testfile bs=100M count=100
> 100+0 Datensätze ein
> 100+0 Datensätze aus
> 10485760000 Bytes (10 GB) kopiert, 212,226 Sekunden, 49,4 MB/s
>
> - Lesedurchsatz der Festplatte testen....
>
> # time dd if=/mnt/testfile of=/dev/null
> 20480000+0 Datensätze ein
> 20480000+0 Datensätze aus
> 10485760000 Bytes (10 GB) kopiert, 158,371 Sekunden, 66,2 MB/s
>
> # Mit dd kann hier sehr schon gemessen werden wie schnell tar die
> Daten aus # dem Dateisystem liefern kann.
>
> # tar -cvf - /mnt/testfile | dd of=/dev/null
> tar: Entferne führende â/â von Elementnamen
> /mnt/testfile
> 20480020+0 Datensätze ein
> 20480020+0 Datensätze aus
> 10485770240 Bytes (10 GB) kopiert, 158,492 Sekunden, 66,2 MB/s
>
> Bonnie:
> bonnie -s 10000 -u thohal
> Using uid:1000, gid:1000.
> Writing with putc()...done
> Writing intelligently...done
> Rewriting...done
> Reading with getc()...done
> Reading intelligently...done
> start 'em...done...done...done...
> Create files in sequential order...done.
> Stat files in sequential order...done.
> Delete files in sequential order...done.
> Create files in random order...done.
> Stat files in random order...done.
> Delete files in random order...done.
> Version 1.03 ------Sequential Output------ --Sequential Input-
> --Random- -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
> Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec
> %CP /sec %CP debian 10000M 35007 88 48147 13 23837 5
> 41117 94 65155 7 410.8 0 ------Sequential Create------
> --------Random Create-------- -Create-- --Read--- -Delete-- -Create--
> --Read--- -Delete-- files /sec %CP /sec %CP /sec %CP /sec
> %CP /sec %CP /sec %CP 16 +++++ +++ +++++ +++ +++++ +++ +++++ +++
> +++++ +++ +++++ +++
> debian,10000M,35007,88,48147,13,23837,5,41117,94,65155,7,410.8,0,16,+++++,+++,++
> +++,+++,+++++,+++,+++++,+++,+++++,+++,+++++,+++
>
>
> Also irgendwie kann das doch nicht sein, dass ich da jetzt mit 50
> anstatt 180 MB/s draufschreibe - ich kann so nicht mal mein LTO3 im
> Stream halten, weil die 66 MB/s dafür leider nicht ausreichen...
>
> Kann mir mal jemand sagen, was da schief laufen könnte?! Hat jemand
> ähnliche Erfahrungen mit Megaraid gemacht.... Ich weiß langsam nicht
> mehr, wo ich ansetzen kann....
>
> Und jetzt kommt noch der Hammer - das mag nun überhaupt nicht mehr in
> mein Köpfchen gehen.... Wenn ich nun die Partition per AoE exportiere
> kann ich von anderen Hosts per AoE auf das gleiche Filesystem (alles
> gleich - nur über netz) auf einmal mit knapp 60 MB/s ( 45 MB/s lokal)
> draufkopieren...
>
> Hat jemand ne Idee oder n Gedanke, wie/wo man ansetzen kann? System
> ist aktuelles etch....
>
> Grüßle
>
> Thomas
>
> PS: Könnte es vielleicht damit zu tun haben, dass der Server einen
> onboard-scsi-controller besitzt, der "zero-raid" beherrscht?! Habe da
> einfach die RAID-Features im BIOS deaktiviert und nutze ihn nur als
> U320-Controller für mein LTO3.
>
> # lspci | grep SCSI
> 02:01.0 SCSI storage controller: QLogic Corp. ISP12160 Dual Channel
> Ultra3 SCSI Processor (rev 06) 05:04.0 SCSI storage controller:
> Adaptec AIC-7902 U320 (rev 03) 05:04.1 SCSI storage controller:
> Adaptec AIC-7902 U320 (rev 03)
Hast du mal den Readahead Buffer angehoben. . Bringt bei meinen Kisten
meiste sehr viel. Mit den Schedulern für das Subsystem ruhig mal
testen, da gibt große Unterschiede.
Markus
Reply to: