Re: robots detector [sorry for offtopic]
On Fri, Nov 02, 2001 at 02:16:48PM +0300, Nick Potemkin wrote:
> Я понимаю, что вопрос не связан с дебианом, но все-таки :)
>
> Может кто-нибудь знает-сталкивался с программами, которые по лог-файлу
> апача могут определить робота, который скачивает данные с сайта?
> В основном интересует защита от "самописных" роботов всяких супостатов,
То есть если я сказал wget -rl1 http://...
то я супостат от которого надо защищаться? По моему это противоречит не
только здравому смыслу, но и фундаментальным принципам, заложенным в
основу интернета. Бывает информация открытая и закрытая (то есть требующая
авторизации для ее получения), все остальное -- нонсенс
Иван Лох
Reply to: