Re: wget und Speicherbelastung
Am Dienstag, 17. Februar 2015, 20:18:52 schrieb Ulrich Fürst:
> Guten Abend zusammen!
>
> Ich wollte gestern per wget einen Teil einer Website mir lokal auf den
> Rechner laden. Es handelt sich um 7 Verzeichnisse mit je ca. 280
> Dateien. Insgesamt etwa 28 MB.
>
> $ wget -rc -nH --cut-dirs=6 --max-redirect=0 --no-host-directories $URL
>
> Dabei wurde der Prozess nach einiger Zeit gekillt, weil der Speicher
> nicht ausreichte: 3 GB RAM + 3 GB Swap
> Als ich dann noch zusätzlich weitere 6 GB Swap aktivierte (also
> insgesammt 12 GB "RAM") änderte das nichts. Auch ein ändern auf
> --max-redirect=1 brachte nichts (ist zwar nicht dokumentiert, aber 0
> setzt ja manchmal sämtliche Limitierung aus)
>
> Wie können nicht mal 30 MB Dateien 12 GB Arbeitsspeicher voll laufen
> lassen?
> Ich habe natürlich im Netz gesucht, aber leider _nichts_ dazu gefunden.
>
> Vielen Dank schon mal für Denkanstöße
> Ulrich
Du könntest es mit pavuk versuchen. wget soll ziemlich fehlerhaft sein.
Tschüß
Volker
Reply to: