[Date Prev][Date Next] [Thread Prev][Thread Next] [Date Index] [Thread Index]

Re: wget und Speicherbelastung



Matthias Taube wrote:
> Am 17.02.2015 um 20:18 schrieb Ulrich Fürst:
> 
> 
> > $ wget -rc -nH --cut-dirs=6 --max-redirect=0 --no-host-directories
> > $URL
> 
> 
> > Wie können nicht mal 30 MB Dateien 12 GB Arbeitsspeicher voll laufen
> 
> Habe ich bei mir noch nie beobachtet. Evtl. eine Schleife im
> Dateisystem oder eine dynamische Namensvergabe auf Serverseite, die
> die gleiche Datei unter immer neuen Namen erneut ausliefert?

Zumindest sind diese Seiten untereinander mehrfach verlinkt. Das könnte
also gut sein. (Inhaltsverzeichnis, dass auf die Dateien zeigt und die
Dateien wiederum auf das Inhaltsverzeichnis und querverweise auf andere
Seiten - aber eigentlich dachte ich, dass mit dem redirect=0
ausgeschlossen zu haben). 

Dann schau ich mal mit rsync (und evtl. pavuk).

Danke Euch beiden. 

Ulrich

-- 
        Zufallssignatur:
        aus netdigest:
        >> Also, ich möchte mir für meinen Raum, der ein Dachboden ist,
        >> ein Heimkino aufbauen (auch als Wohnraum genutzt). Wie ich
        >> die cm2 ausrechnen soll weiß ich nicht. Der Raum hat als
        >> Grundfläche ca. 60cm2,
                            ^^^^
        <SCNR>


Reply to: