Re: robots detector [sorry for offtopic]
On Fri, 2 Nov 2001, Nick Potemkin wrote:
NP>Это явно не относится
NP>к дебиану, как, впрочем, и весь этот тред :)
Ну отчего же. У меня есть подозрение, что нужного Вам софта
в дистрибутиве Debian не найдется как раз в связи с DFSG.
NP>Если 1% пользователей создают мне проблемы тем, что загружают
NP>канал и сервак роботизированным скачиванием - я их просто
NP>отключу. И как раз это и будет "добросовестное отношение" к
NP>остальным 99% пользователей. А попутно еще и небольшая
NP>гарантия того, что я не увижу на митинке на сидюке все данные
NP>с моего сайта.
Неправомерное блокирование компьютерной информации. Ст. 272ч.2. УК
До пяти лет лагерей. 8-|
Нет, я не думаю чтобы Вас кто-либо действительно засудил и
засадил за это. Однако _понимать_, что то, чем Вы собираетесь
заниматься, есть уголовщина, или, во всяком случае, на грани того,
было бы весьма полезно.
NP>> Просто технически. Хочешь
NP>> вести дела на "чиста деловой" основе - будь готов платить за это
NP>> полную, "чиста деловую" цену. Вон, как у www.microsoft.com vs
NP>> ftp.cdrom.com - при примерно одинаковом полезном трафике у первых
NP>> навороченная многоуровневая система, а у вторых - обычный писюк
NP>Хм.. Во-первых не надо сравнивать сайты суппорта и некоммерческий
NP>ftp. Это несколько разные вещи. Во-вторых - упадет ftp.cdrom.com или
NP>будет с него плохо качатся - скажут "ну и ладно". А упадет microsoft -
NP>поднимется ТАКАЯ буча...
Что-то я не заметил, чтобы ftp.cdrom.com падал чаще чем
www.microsoft.com. Скорее уж наоборот. И, потом, ftp.cdrom.com (он
же ftp.freebsd.org, он же что-то-там-slackware итд.) помимо всего
прочего также является "сайтом суппорта" для пары-тройки ОС и этак
дюжины неслабых по популярности программ (типа Quake, например)
NP>> Конечно, придумать способов не пущать роботов можно кучу -
NP>> сделать минимальный промежуток времени между двумя запросами с
NP>> одного IP, отслеживать обход дерева, анализировать запрос на
NP>> количество мусора в нем (мало - значит робот) итд.
NP>Угу... Вот именно что-то подобное и хочется.
Нормальные люди, AFAIK, просто ограничивают
траффик|количество одновременных соединений|количество соединений в
минуту с одного хоста (только не спрашивайте меня - как. Сам знаю
только понаслышке). И таким образом _свои_ _действительные_ проблемы
в основном решают. А попытки строить юзеров, указывать им, что они
вправе, а что не вправе делать на своем конце IP-трубы (притом, как
я уже говорил, в конфликте с законом), ни к чему хорошему не
приведут.
NP>Подводя итог такой, неожиданно оказавшейся интересной, теме :)
NP>Как я понял - такого софта либо не существует, либо народ о
NP>нем просто не знает. Хотя я подумал - если такой софт будет
NP>общедоступен и общеизвестен - никто не помешает "супостатам",
NP>поняв его алгоритм работы, сделать "противоядие" :) Так что
NP>придется самому поднапрячься и написать :) Различные умные
NP>идеи принимаются с благодарностью :)
Умная идея номер один. Вам стоило бы таки определиться,
зачем все же лежит контент у Вас на сайте.
Или он выложен для всеобщего сведения - и тогда ваша
задача состоит только в минимизации загрузки сервера. Которая
решается, IMHO, не в последнюю очередь, оптимизацией структуры сайта
- заменой, где можно, динамических страниц на статические, возможно
- выкладывание части информации в виде удобных для загрузки
компрессированных архивов итд.
Или же Вы хотите сохранить полный контроль над выложенной
информацией. Тогда нужно заключать с юзерами договор, о том, что они
могут и чего не могут, выдавать им пароль (возможно -
забесплатно и просто путем тыканья кнопочки на том же сайте) и далее
пускать по этому паролю. Отслеживание действий юзера при этом
становится тривиальным.
Попытка получить одновременно и то, и другое,
внутренне бессмысленна (как и любая другая попытка достичь
одновременно двух взаимно-исключающих целей) и приведет только к
тому, что Ваш сайт станет глючен и неудобен для чтения, в
том числе и для совершенно рядового юзера.
Reply to: