Apache und webspiderer blockieren
Hallo,
ein Bakannter hat eine E1 mit 2048/512 kBit und seit einigen Wochen das
problem, das jemand seine Internetverbindung und seinen Apache-Server
mit einem Webspiderer platmacht.
Dieser Webspiderer ignoriert die robots-Datei.
Die Komplette Webseite hat rund 580 MBytes und wurde mittlerweile
mindestens 260 mal vollständig runtergeladen, was in etwa den 512 kBit
garantierter Geschwindigkeit entspricht. Glücklicherweise hat er einen
Festpreis mit unbegrenzter Traffic. In Deutschland könnter er seinen
Laden jetzt dichtmachen. (~40 €/GByte)
Auf der Webseite befinden sich jede menge großformatiger Bilder (Poster)
und MPEG's (Video/Audio).
Nun, mittlerweile sind wie hergegangen und haben zwei weitere Virtual-
Webserver eingerichtet:
pics.domain.fr und media.domain.fr
Frage: Wie kann man es machen, das REQUESTS auf 'pics' und 'media' nur
dann erfolgreich sind, wenn die Links von der Webseite 'www'
aufgerufen werden ?
Ich weis, das bei einem Klick auf einem Link, der Server die Ursprungs
Location mitgeteilt bekommt, was ja beim spidern nicht der Fall ist...
Frage2: Wie kann man es überhaupt unterbinden, das Clients mehrere
Seiten gleichzeitig öffnen ?
Sprich, in 5 Sekunden mehr als 10 Requests loslassen (z.B.)
Frage3: Wie kann man per Client-IP die Traffic troddlen ?
Sprich, pro Client-IP nur 128 kBit zulassen oder so...
Das ganze läuft auf WOODY 3.031 und wie gesagt, auf Apache.
Danke
Michelle
--
Registered Linux-User #280138 with the Linux Counter, http://counter.li.org.
Reply to: