Re: Header aus E-Mails entfernen (formail)
Am 2004-02-14 02:49:54, schrieb Dirk Prösdorf:
>Michelle Konzack <linux4michelle@freenet.de> wrote:
>> Da kommt irgendwie Schrott beim Received-Header raus...
>
>> Und wie willste das mit 4.000.000 Mails machen ?
>
>Die Warscheinlichkeit dürfte ziemlich hoch sein, dass da immer Mails
>dabei sein werden, die zu Schrot werden und bei der Menge bekommst Du es
>kaum geprüft wie viele es sind.
Habe ich bereits gemerkt...
------------------------------------------------------------------------
#!/bin/bash
cat $1 | formail -f -I Received: -I Envelope-to: -I Delivered-To: -I Return-path: > $1.tmp
mv $1.tmp $1
------------------------------------------------------------------------
Killt mir die Bodys zu ungefähr 17% !!!
Habe dann einfach ein 'sleep 1' dazwischen hineingehängt und jetzt ist
die Fehlerquote unbekannt. (Habe rund 400 Mails manuell überprüft und
nichts gefunden)
Dafür braucht die Kiste jetzt allerdings 55 Tage... bei rund 50 Mails
pro Minute... Ist mir aber egal, da die Mails auf meinem List-Server
sind und nach Abarbeitung automatisch monatsweise Archiviert werden.
Die neuen Mails die Über die Listen hineinkommen, werden direkt in
meiner procmailrc gestiped, wozu ich allerdings nur die gestripte
copie der Mails lese, und ein origial den ersten Monat in aufgehoben
wird, da ich die Fehlerquote überprüfen will.
>Du weißt, dass mutt mit gegzipten Mail-Archiven zurecht kommt und dass
>man mit zgrep auch in diesen suchen kann?
Ich weis, funktionietrt aber nur mit mbox und nicht mit maildir. Gut,
läßt sich über einen folder-hook auch machen, nur das frißt resourcen
bei 3600 Mails pro Monat. (muß ne *.tar.gz) sein. einzeln GZIPen geht
nicht (Haben wir bereits versucht.)
>> Dann habe ich am Schluß eine Mailbox mit sämmtlichen E-Mails
>> der debian-user-(german,de) in einer einzigen Mailbox. Sprich
>> 3000 Messages mal (03/1999 bis 02/2004)... weniger gut.
>
>Kann mit archivemail wieder auseinander gepflügt werden.
Dann liste mal aus versehen einen Folder mit 180.000 Files...
Der Rechner ist fürn ne Stunde nicht mehr verwendbar...
nicht mal ls konnte ich mit ^C abbrechen ode von einer zweiten
Console killen der wollte seinen JOB wirklich anständig beenden.
>man perl >:->
>Dürfte vermutlich mit den entsprechenden Modulen eh der einfachste Weg
>sein um die Mails in dem von Dir gewünschten Umfang halbwechs vernüftig
>zu manipulieren.
Ist richtig, nur habe ich keine Ahnung von perl Pragrammierung.
Ich mache zwar viel, kann aber nicht alles...
Greetings
Michelle
--
Registered Linux-User #280138 with the Linux Counter, http://counter.li.org/
Reply to: