[Debian] Gesucht und nicht gefunden: robots.txt

[Andreas Tille <tillea@rki.de>]

Hallo,

offensichtlich ist Google auf einen meiner Web-Server aufmerksam geworden.

~> nslookup 64.208.37.60
Name:    crawler7.googlebot.com
Address:  64.208.37.60

Diese Meldungen finde ich seit kurzem in meinem /var/log/apache/error.log:

[Mon Nov 27 15:08:43 2000] [error] [client 64.208.37.58] File does not exist: /var/www/robots.txt
[Tue Nov 28 13:15:18 2000] [error] [client 64.208.37.28] File does not exist: /var/www/robots.txt
[Wed Nov 29 01:09:43 2000] [error] [client 64.208.37.60] File does not exist: /var/www/robots.txt
[Fri Nov 24 12:01:36 2000] [error] [client 63.97.116.101] File does not exist: /var/www/robots.txt
[Fri Nov 24 17:54:43 2000] [error] [client 64.208.37.56] File does not exist: /var/www/robots.txt
[Sat Nov 25 09:36:11 2000] [error] [client 64.208.37.39] File does not exist: /var/www/robots.txt

Sollte man so ein robots.txt-File anlegen und was sollte drin stehen?

Viele Grüße

     Andreas.


--
-----------------------------------------------------------
Um sich aus der Liste auszutragen schicken Sie bitte eine
E-Mail an debian-user-de-request@lehmanns.de die im Subject
"unsubscribe <deine_email_adresse>" enthaelt.
Bei Problemen bitte eine Mail an: Jan.Otto@Lehmanns.de
-----------------------------------------------------------

707 eingetragene Mitglieder in dieser Liste.