> Ключевое слово - spider, а остальное делается каким-нибудь перлом > (классификация, которая интересует тебя, скорее всего, отличается от > той, которая интересует других). Не хотелось бы самому бот писать - придется обрабатывать недоступность страниц, пытаясь их получить несколько раз с каким-то интервалом и другие заморочки будут.
"Ключевое слово - spider"