wget, HTTP Kompression und rekursives Herunterladen
Hallo
Ich möchte eine größere Menge html-Dateien von einem Server laden. Da
diese sich sehr gut komprimieren lassen, und der Server
gzip-Kompression auch unterstützt, habe ich versucht, wget
folgendermaßen zu starten:
wget -nc -np -k -r --header\="Accept-Encoding: gzip" http://adresse
wget speichert die erste Datei auch normal unter dem richtigen Namen ab,
allerdings ist diese nun immer noch komprimiert. Im nächsten Schritt
müsste wget aus der Datei Links auslesen und diese auch herunterladen,
wegen der Kompression klappt das aber nicht. Natürlich kann ich die
Datei jetzt von Hand entpacken und dann wget erneut starten, aber das
würde dann mehrere solcher Durchläuft erfordern und wäre ärgerlich.
Ich suche also nach einer Möglichkeit, entweder wget die Dateien gleich
beim Speichern wieder entpacken zu lassen, oder wget irgendwie
beizubringen, in den komprimierten Dateien die Links zu finden.
Irgendwelche Ideen?
Grüße
Andreas Janssen
--
Andreas Janssen
andreas.janssen@bigfoot.com
PGP-Key-ID: 0xDC801674
Registered Linux User #267976
Reply to: