[Date Prev][Date Next] [Thread Prev][Thread Next] [Date Index] [Thread Index]

Re: Конфигурация mnogosearch (indexer.conf) - не оффтопик надеюсь?



Hi!

denizzz wrote:

Желаем индексировать некий диапазон, скажем:
Subnet 10.0.*.*

Всё нормально.

Но: в этом диапазоне находится сайт http://media/
В path http://media/cgi-bin/ есть скрипты (ну очень тормозные) и хозяин сайта на это жалуется.

Задача: исключить из индексации этот путь - http://media/cgi-bin/

robots.txt не пробовал?

--
SY: Dmitry Melamud



Reply to: