Re: Обобщенная карта сайта
В сообщении от Вторник 10 июля 2007 20:15 jetxee написал(a):
> По-быстрому можно попробовать собрать ссылки, например, так:
>
> $ wget -m --no-verbose -np -o log -D news.yandex.ru http://news.yandex.ru/
> $ cat log | grep URL: | sed 's/.*URL://' | awk '{print $1;}'
> http://news.yandex.ru/
> http://news.yandex.ru/robots.txt
> http://news.yandex.ru/favicon.ico
> http://news.yandex.ru/opensearch.xml
> http://news.yandex.ru/index.rss
> http://news.yandex.ru/setup/
> http://news.yandex.ru/faq.html
> ....
>
> Не проверял, собёрутся ли так все ссылки, но все внутренние данного
> сайта/раздела сайта, наверное, точно соберутся.
Насколько я понимаю, wget может просто собрать и отдать список ссылок :-)
Reply to: