Зачем боты это делают?

[Vorodisa]

http://prntscr.com/jwl6l9

 

И так каждый день? С разных IP. 

 

Как с этим бороться ? 

 

[markimax]

Хотят проиндексировать ваш магазин
Если вам не хочется чтобы какие то страницы индексировались - закройте их (или параметры) в robots.txt

[chukcha]

1 час назад, Vorodisa сказал:

Как с этим бороться ? 

Условно - смириться

Какой это бот? Чьи это айпишники

Это могут быть сервисы проверки цен или сбора цен, которые работают по запросам, и ваш сайт попал в их базу

наличие в роботс - не поможет, такие сервисы плюют на роботс
meta robots - бесполезен

Только харкод, или.. обращайтесь, вместе сможем обсудить, я покажу, а вы решите нужно ли оно вам.



 

[Vorodisa]

24 минуты назад, markimax сказал:

Хотят проиндексировать ваш магазин
Если вам не хочется чтобы какие то страницы индексировались - закройте их (или параметры) в robots.txt

Да там IP разные, Китай, штаты и так далее

[chukcha]

4 часа назад, Vorodisa сказал:

Да там IP разные,

стучатся с разных прокси