Re: [OT] Robots o proxies transparentes que se comen las adsl que publican web dinámicamente
On Sat, 2003-03-08 at 19:42, Andres Seco Hernandez wrote:
> Supongo que con el ROBOTS META TAG se podrá hacer algo, lo miraré
> ahora, pero os aviso por si a alguno le ocurre algo parecido.
¿Robots meta tag? Supongo que te refieres a robots.txt.
Si no tienes un robots.txt adecuado, realmente no se puede decir que sea
culpa del spider. Viendo "guadawireless.net", veo que el robots.txt
dice:
-----------------------------------------------------------------------
User-agent: *
Disallow: admin.php
Disallow: /images
Disallow: /themes
Disallow: /manual
-----------------------------------------------------------------------
Dados los ejemplos que pones (donde "/index.php" es tu problema),
posiblemente querrás algo como ésto:
-----------------------------------------------------------------------
User-agent: *
Disallow: /
-----------------------------------------------------------------------
Si el robot sigue jodiendo después de eso, *entonces* considera
bloquearlo.
Saluditos desde Guadalajara (México) :-)
-CR
Reply to: