Re: FileServer für Datenbanksever
Guten Morgen,
Michelle Konzack wrote:
>
> Problem: Der FileServer hat 7 x 147 GByte im Raid-5 und
> vermutlich über 127.000.000 Dateien gelagert.
^^^^^^^^^^^
Da koennten Dir auch langsam die Inodes ausgehen
> Frage 1: Wie kann ich solche gewaltigen Dateibestände am besten
> und einfachsten verwalten ?
>
> Größtes Problem dabei ist, das ich nicht Verzeichnisse
> mir einem dutzend ebenen haben will.
Du koenntest alle Dateien _in_ der Datenbank speichern
oder
(so macht es eine Software fuer Dokumentenverwaltung)
Ebene 1: 1000 Verzeichnisse (0-999)
Ebene 2: je wieder 1000 Verzeichnisse
Du musst Dir dann nur noch eine passende Regel fuer die Verteilung
ueberlegen
> ich bastele
> mitlerweile mit md5sum herum, sprich, die Datei bekommt
> als Namen den md5sum Wert, aber ich kann ja nicht alle
> Dateien in EIN Verzeichnis schmeißen, wobei ich denke,
> das 100.000 ohen schwierigkeiten möglich sind, da mein
> LKM Mailarchiv ja auch weit über 200.000 hat. Das ganze
> erfordert dann halt ne Monster-Tabelle in der original
> Pfad + Datename mit dem md5 Namen verbunden werden.
>
> HTML Dateien wurden immer vollständig abgepeichert, also
> mit requisiten, womit dann zwei Directory einträge
> entstanden sind.
>
> Dazu sei noch gesagt, das alle Daten statisch sind und
> NICHT mehr verändert werden.
>
> Hat jemand sowas schon mal gemacht?
>
> Frage 2: Ist es sinnvoll, auf nem U160 nur zwei Raid-5 mit je
> 7 Platten zu fahren oder besser, fünf Raid-5 mit je 3
> Platten einzurichten ?
2 x 7 - 2 x 1 = 12 Platten netto
5 x 3 - 5 x 1 = 10 Platten netto
weitere Aussagen zu Vor- oder Nachteilen kann man nur
in Abhaengigkeit von der durchschnittlichen Datengroesse machen
Du solltest aber bedenken dass jedes Filesystem dass _viele_ Daten
speichern
muss, extrem langsam wird.
Zur Einschaetzung: 360GB Filesystem, 22x18GB FC-AL, Software-RAID,
xxMillionen Dateien,
kopieren auf ein zweites Storage: ~2MB/s
HTH
Tobias
(stiller Mitleser seit einiger Zeit)
--
_Default-Schuldiger_fuer_alles_! i.V.
Schroedinger Pausemacher
Member Of The Most Honorable JDDC@MF2002
Reply to: