[Date Prev][Date Next] [Thread Prev][Thread Next] [Date Index] [Thread Index]

Re: Wie ein Maildir mit 36mio Messages sichern ohne Dups?



Hello Timo Boettcher,

Am 2011-03-28 16:04:01, hacktest Du folgendes herunter:
> Das mbsync (paket heisst isync, btw) aus Debian kann nicht rekursiv
> syncen, dafuer brauchts nen Patch:
> http://www.mail-archive.com/isync-devel@lists.sourceforge.net/msg00082.html
> Ich vermute aber mal, dass es NICHT darum ging die Mails DURCH den
> imap-server zu saugen, sondern dass Filesystem-Zugriff verfuegbar ist.

Richtig.  Ich hatte versucht, mittlels einer IMAP Perl  lib  das  direkt
über IMAP zu machen, aber das macht jeden IMAP Server nieder.

> Rein interessehalber:
> Gibt es Zahlen, wieviel der Filesystem Overhead ausmacht?
> (Welches Filesystem kommt eigentlich zum Einsatz?)
> Evtl kann man da auch noch ansetzen...

Du hast halt einen Zugriff per message, wenn Du also  1mio  Mails  hast,
mußte ein mio mal zugreifen.

Um eine Mail WIRKLICH DUP-FREI zu sichern, muß als jede mail,  die  beim
ersten mal erfaßt wirde einen ABSOLUT  einmaligen  Header  bekommen  wie
einen COUNTER und dann ne SHA384 dazu.

Aber ich habe gestern die Möglichkeit gehabt, mit  ein  paar  Kunden  zu
sprechen und die waren  der  Meinung,  das  sowas  wie  die  in  Courier
angebotene "BIG_BROTHER" Funktion ausreichen  würde,  da  man  im  falle
eines crashes daraus wieder alles herstellen kann.  BACKUP  des  Filters
natürlich voraussetzung.

Sprich, die Kunden können ihre "procmail", "maildrop" und "sieve" filter
einrichen wie sie wollen, hauptsache ich plaziere sowas wie

    :0c
    ${NFS1_BACK_STORE}/${USER}/`date +%Y_%V`/
    :0Ec
    ${LOCAL_BACK_STORE}/${USER}/`date +%Y_%V`/

an den Anfang der Filterregeln und TAR das Zeug ab.

So, das währe Nummer eins, nur wie  mach  ich  das  mit  meinem  eigenen
Storage?

Mein Mailinglisten-Archiv habe ich in einem  seperaten  Account  und  zu
meinem it "shared" hinzugefügt und somit keine Veränderungen am original
storage festgestellt.  Das läßt sich  bequem  per  "rsync"  sichern  was
allerdings eigentlich nicht WIRKLICH wichtig ist, denn das  archive  ist
sowas wie:

    .ML_debian.user
    .ML_debian.user.2010-12
    .ML_debian.user.2011-01
    .ML_debian.user.2011-02
    .ML_debian.user-french
    .ML_debian.user-french.2010-12
    .ML_debian.user-french.2011-01
    .ML_debian.user-french.2011-02
    .ML_debian.user-german
    .ML_debian.user-german.2010-12
    .ML_debian.user-german.2011-01
    .ML_debian.user-german.2011-02
    .ML_debian.user-spanish
    .ML_debian.user-spanish.2010-12
    .ML_debian.user-spanish.2011-01
    .ML_debian.user-spanish.2011-02
    .ML_debian.user-turkish
    .ML_debian.user-turkish.2010-12
    .ML_debian.user-turkish.2011-01
    .ML_debian.user-turkish.2011-02

wobei ".ML_debian.user-german" immer der aktive Monat ist, die lezten 40
Tage beinhaltet und danach in  den  "YYYY_WW"  Folder  verschoben  wird.
Somit können alle LOCALEN Konteninhaber das gleiche  Archiv  lesen  ohne
selber sich überall zu subscriben.  Spart gut 27 GByte Mail-Traffic  und
über 80 GByte WebTraffic pro Monat.  (303 Mailinglisten derzeit)

Thanks, Greetings and nice Day/Evening
    Michelle Konzack

-- 
##################### Debian GNU/Linux Consultant ######################
   Development of Intranet and Embedded Systems with Debian GNU/Linux

itsystems@tdnet France EURL       itsystems@tdnet UG (limited liability)
Owner Michelle Konzack            Owner Michelle Konzack

Apt. 917 (homeoffice)
50, rue de Soultz                 Kinzigstraße 17
67100 Strasbourg/France           77694 Kehl/Germany
Tel: +33-6-61925193 mobil         Tel: +49-177-9351947 mobil
Tel: +33-9-52705884 fix

<http://www.itsystems.tamay-dogan.net/>  <http://www.flexray4linux.org/>
<http://www.debian.tamay-dogan.net/>         <http://www.can4linux.org/>

Jabber linux4michelle@jabber.ccc.de
ICQ    #328449886

Linux-User #280138 with the Linux Counter, http://counter.li.org/

Attachment: signature.pgp
Description: Digital signature


Reply to: