Re: wget

[/dev/null <devnull@fastwebnet.it>]

On Sat, Jun 22, 2002 at 03:40:34PM +0200, Lo'oRiS il Kabukimono wrote:
> Davide Corio <davide.corio@libero.it> blaterò:
> 
> > quello che mi capita è che va a cercare solo il file index e mi
> > scarica quello
> > 
> > Sapete dirmi il perchè?
> 
> perchè in certi casi fa un po' come vuole lui... :/
Sara`, piu` probabilmente, perche' i siti in questione scrivono
in /robots.txt che non vogliono essere letti dai robot (come wget).
Puo` essere utile, in questi casi, fare in modo che wget ignori
/robots.txt , mettendo in /etc/wgetrc o (meglio) in $HOME/.wgetrc
l'opzione
robots = off
prima, pero`, sarebbe buona cosa leggersi
http://www.robotstxt.org/wc/norobots.html

Ciao,
/dev/null


-- 
To UNSUBSCRIBE, email to debian-italian-request@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmaster@lists.debian.org