[Date Prev][Date Next] [Thread Prev][Thread Next] [Date Index] [Thread Index]

Apache und webspiderer blockieren



Hallo, 

ein Bakannter hat eine E1 mit 2048/512 kBit und seit einigen Wochen das 
problem, das jemand seine Internetverbindung und seinen Apache-Server 
mit einem Webspiderer platmacht. 

Dieser Webspiderer ignoriert die robots-Datei. 

Die Komplette Webseite hat rund 580 MBytes und wurde mittlerweile 
mindestens 260 mal vollständig runtergeladen, was in etwa den 512 kBit 
garantierter Geschwindigkeit entspricht. Glücklicherweise hat er einen 
Festpreis mit unbegrenzter Traffic. In Deutschland könnter er seinen 
Laden jetzt dichtmachen. (~40 €/GByte)

Auf der Webseite befinden sich jede menge großformatiger Bilder (Poster) 
und MPEG's (Video/Audio). 

Nun, mittlerweile sind wie hergegangen und haben zwei weitere Virtual-
Webserver eingerichtet: 

pics.domain.fr und media.domain.fr

Frage:	Wie kann man es machen, das REQUESTS auf 'pics' und 'media' nur 
	dann erfolgreich sind, wenn die Links von der Webseite 'www' 
	aufgerufen werden ? 
	
Ich weis, das bei einem Klick auf einem Link, der Server die Ursprungs 
Location mitgeteilt bekommt, was ja beim spidern nicht der Fall ist... 

Frage2:	Wie kann man es überhaupt unterbinden, das Clients mehrere 
	Seiten gleichzeitig öffnen ? 
	
	Sprich, in 5 Sekunden mehr als 10 Requests loslassen (z.B.)

Frage3:	Wie kann man per Client-IP die Traffic troddlen ?
	Sprich, pro Client-IP nur 128 kBit zulassen oder so...
	
Das ganze läuft auf WOODY 3.031 und wie gesagt, auf Apache. 

Danke
Michelle

-- 
Registered Linux-User #280138 with the Linux Counter, http://counter.li.org.



Reply to: