Контент для роботов - index, follow

[Гість]

Ищу способ массового отслеживания метатегов index follow на любых URL сайта, включая каноникал, страницы пагинации, изображения и.т.д.

 

[NazarKarv]

Специальных сервисов не знаю, но в топвизоре есть фича отслеживания контента на нужных страницах и если в коде страницы что-то меняется - он присилает уведомляшку, что и где изменилось. Еще как вариант - раз в неделю парсить сайт с помощью скрминг фрога.