Здравствуйте. Столкнулся с такой проблемой: гугл рандомно, но в большом количестве отклоняет товары и бьет следующие ошибки:
"Файл robots.txt блокирует сканирование страницы для мобильных устройств"
"Файл robots.txt блокирует сканирование страницы для компьютеров"
Ошибки появляются как при загрузке фида по ссылке, так и при загрузке файлом.
При этом раньше, когда модуль еще не использовал, а просто создавал фид вариантом "сканирование сайта" - все было нормально.
В чем может быть проблема?
robots.txt