Карта сайта

Паук пробегает по страницам сайта, выдергивая ссылки, и в результате выдает список внутренних страниц сайта, список внешних страниц, на которые есть ссылки с сайта.

Стартовый URL - тут, думаю, все понятно. Это то место, откуда начнет паук свое движение по сайту.

Максимальное количество страниц - сколько страниц должен обойти паук.

Расширения страниц - расширения страниц, по которым должен бегать паук.

www - автоматически добавлять или убирать www из URL.

Index - аналогично предыдущему пункту.

Исключить из запроса - убирает из запроса заданные параметры.

Внешние заголовки - запрашивать или нет заголовки внешних страниц, на которые есть ссылки с сайта. Требуется больше времени.