Модуль карты сайта с учетом robots.txt

[Nikdssl]

Добрый день.

 

Помогите, пожалуйста, найти модуль для создания карты сайта, который бы учитывал инструкции в файле robots.txt

 

Спасибо.

[Nikdssl]

В роботсе закрыты некоторые страницы от индексации. Соответственно не хочется видеть их в карте сайта.

[irinki]

Присоединяюсь.

Есть потребность уменьшить размер карты сайта, а то она ни в какие лимиты поисковиков не лезет: 92 тыс страниц! А Яндекс позволяет не более 50 тыс.

Если бы карта создавалась с учетом robots.txt, такой проблемы бы не было.

Но вот как это сделать?

[Otvet]

1 час назад, irinki сказал:

Присоединяюсь.

Есть потребность уменьшить размер карты сайта, а то она ни в какие лимиты поисковиков не лезет: 92 тыс страниц! А Яндекс позволяет не более 50 тыс.

Если бы карта создавалась с учетом robots.txt, такой проблемы бы не было.

Но вот как это сделать?

а теперь представьте что будут фильтроваться по сложному алгоритму все эти 92 тыс, т.е. в десяток раз дольше будет формироваться карта

вам оно надо?

[irinki]

В 12.08.2017 в 21:30, nikifalex сказал:

вы смотрите на проблему с неправильной стороны. не привязывать к robots ее, а просто написать что в ней не надо, не должно быть.

Ну или разбить ее на части яндексы позволяют.

Отличный план! А как и где мне написать, что в ней не надо?