Запрет посещения страницы ботами

[Evgenka]

Всем доброго дня.

Столкнулся на днях с такой ситуацией:

Магазин на ocStore 3.0.2.0, имеем подключенный модуль для online оплаты заказа. По логике модуля, после ввода всех необходимы данных покупателя и подтверждения заказа происходит редирект на success страничку, где сообщается, что счет для оплаты успешно создан и клиент может его оплатить. При этом, само собой, создается заказ и добавляется статус по умолчанию для нового заказа в историю заказа. Суть проблемы в том, что на днях обратили внимание, по уже выполненным заказам (завершенным), не понятно почему, стали добавляться в историю статусы как у вновь созданного заказа.

Стали смотреть логи за этот период времени и увидели следующее:

Цитата

95.108.213.12 - - [16/Jan/2022:02:29:01 +0300] "GET /index.php?route=extension/payment/begateway/redirect&order_id=2812 HTTP/1.0" 200 25175 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

 

Собственно ЯндексБот дергает ссылку модуля оплаты и даже подставляет номер заказа. Модуль думает, что это клиент переходит по ссылке и, соответственно, перенаправляет на страницу успешно созданного заказа, а т.к. этоn заказ уже есть, то просто добавляет в его историю статус вновь созданного заказа.

Спойлер

 

 

Собственно вопрос: как избежать этого в дальнейшем? Как запретить ВСЕМ ботам посещение ресурса /index.php?route=extension/payment/

Добавил в robots.txt строку Disallow: /*route=extension/payment , но не совсем понимаю, поможет ли это.

Буду благодарен за ваши рекомендации.

[Prooksius]

может в robots для яндекс бота достаточно будет поставить что-то типа

User-agent: Yandex
Disallow: /index.php?route=extension/payment/begateway/redirect&order_id=

 

Если нет - тогда в контроллере этом проверять на бота..

[Evgenka]

Читал, что рекомендации из robots.txt не всегда воспринимаются роботами, в частности google.

Наверное так и сделаю, добавлю Disallow в роботс и дополнительно в контроллере проверю по user_agent

[chukcha]

50 минут назад, Evgenka сказал:

Собственно ЯндексБот дергает ссылку модуля оплаты и даже подставляет номер заказа.

посмотрите его ip
попытайтесь выяснить откуда такая ссылка образовалась
 

[Prooksius]

да, верно, где-то у вас эта ссылка публикуется и видна публично, а вот зачем - непонятно. Ну или кто-то пытается напакостить)

[Evgenka]

10 минут назад, chukcha сказал:

посмотрите его ip
попытайтесь выяснить откуда такая ссылка образовалась
 

Судя по IP он на самом деле принадлежит Яндексу.

А вот откуда он нашел эту ссылку - это действительно вопрос

[spectre]

57 минут назад, Evgenka сказал:

А вот откуда он нашел эту ссылку - это действительно вопрос

из яндекс браузера