[Date Prev][Date Next] [Thread Prev][Thread Next] [Date Index] [Thread Index]

Re: wget und Speicherbelastung



Am Dienstag, 17. Februar 2015, 20:18:52 schrieb Ulrich Fürst:
> Guten Abend zusammen!
> 
> Ich wollte gestern per wget einen Teil einer Website mir lokal auf den
> Rechner laden. Es handelt sich um 7 Verzeichnisse mit je ca. 280
> Dateien. Insgesamt etwa 28 MB.
> 
> $ wget -rc -nH --cut-dirs=6 --max-redirect=0 --no-host-directories $URL
> 
> Dabei wurde der Prozess nach einiger Zeit gekillt, weil der Speicher
> nicht ausreichte: 3 GB RAM + 3 GB Swap
> Als ich dann noch zusätzlich weitere 6 GB Swap aktivierte (also
> insgesammt 12 GB "RAM") änderte das nichts. Auch ein ändern auf
> --max-redirect=1 brachte nichts (ist zwar nicht dokumentiert, aber 0
> setzt ja manchmal sämtliche Limitierung aus)
> 
> Wie können nicht mal 30 MB Dateien 12 GB Arbeitsspeicher voll laufen
> lassen?
> Ich habe natürlich im Netz gesucht, aber leider _nichts_ dazu gefunden.
> 
> Vielen Dank schon mal für Denkanstöße
> Ulrich

Du könntest es mit pavuk versuchen. wget soll ziemlich fehlerhaft sein.

Tschüß
Volker


Reply to: