Re: [Solución:] apache y motores de busqueda
On Thu, Feb 08, 2001 at 11:05:16AM +0100, Jaume Sabater wrote:
> Ahorita me falta tener un listado de las IPs de los robots, supongo que
> mirando el access.log del apache los encontraré.
fgrep robots.txt access.log
Claro que los que no respetan las normas de etiqueta serán mas difíciles de
descubrir.
> También hay que ver qué le "gusta" mas a cada robot, para dar una respuesta
> personalizada lo máximo. Dónde puedo encontrar esa información?
Me temo que no será una labor muy fácil descubrir los gustos de cada uno. Pero
visita http://info.webcrawler.com/mak/projects/robots/robots.html para
comenzar.
Jaime
Reply to: