Кто-то сливает 404 страницы

[tabook]

Приветствую всех.

Прошу прощения за столь неинформативный заголовок, но кратко описать не смог.

Недавно я заметил, что после перехода на сайте на 404 страницу, туда начинают ломиться боты. Обнаружил по чистой случайности: после переименования каталога admin в нечто подобное этому dfd36_yos5S5 сам перешел по dfd36-yos5S5

Каково же было мое удивление, когда спустя часов 6-8 пара ботов полезла долбиться на эту страницу.

 

88.198.209.11 -- [23/Sep/2014:20:17:52 +0400] "GET /dfd36-yos5S5 HTTP/1.0" 404 25759 "-" "PycURL/7.22.0"

54.210.165.200 - - [23/Sep/2014:23:01:19 +0400] "GET /dfd36-yos5S5 HTTP/1.0" 404 25759 "-" "Mozilla/5.0 (compatible; proximic; +http://www.proximic.com/info/spider.php)"

 

Проверил спустя сутки (перейдя на другую несуществующую страницу) на идеально чистой Unix машине - то же самое. С электронной книги (чтобы исключить вируса на клиенте) - то же самое. Итак, значит сайт.

 

Начал изучать сайт проверил все скрипты. "Наружу" хвост ведет только от а) Гугл-Аналитикс, б) Яндекс-Метрика в) онлайн чат от RedHelper

 

Сейчас отключил все, включаю по одному, определяю шпиона. Может кто сталкивался с подобным и знает кто сливает данные?

[Keyser]

Чья сборка? 

Вы в роботс запретили индексацию новой папки админа?

[chukcha]

Чья сборка? 

Вы в роботс запретили индексацию новой папки админа?

А скажите - смысл, если нет прямой ссылки.

 

Тс... я знаю про яндексбары :)

 

https://opencartforum.com/files/file/1892-404-log/

Попробуйте

Будет еще и referer  и не надо фильтровать логи апача

[tabook]

ocStore 1.5.5.1.1

Роботс не трогал, ибо повторяется на любом вымышленном URL кидающем 404: через 4-8 часов прилетают боты.

Логи фильтровал вручную, пока не сложно :)

 

referer ов (которые нотифицируют скриптами свои сервера о 404) я привел выше: три потенциальных саботажника: яндекс, гугл, и редхелпер. отключил всех, подключаю по одному, смотрю результаты.

[rb2]

Пока ждёте результаты тестов - почитайте TOS яндес-метрики, рэдхелпера, addthis. И в последнюю очередь можно гуглоаналитики, но то уже такое... Если яндекс-метрику осилите, то к другим уже мало вопросов останется.

Если читать - тяжело и долго, можно по-другому проэкспериментирвать. Зайти в любой интернет-магазин, пользующийся я.метрикой, и поищите-походите там по тем товарам, которых никогда не искали. Но лучше что-то популярное, что активно рекламируется - окна там, водонагреватели, вайфай, коляски... А потом через несколько часов или 1-2 дня -- куда-нибудь в поиск или другой магазин с рекламой от яндекса. Вернее, не магазин, а сайт с рекламой. Новости например, портал какой, поиск тот же.

И удивляемся обилию рекламы на ту тему, которую искали-смотрели. Со всех сторон станут резко бомбить предложениями купить коляску и вайфай (например).

P.S. А 404 используйте в свою пользу: навесьте на эту схему модуль какой полезный, и пусть если боты - то хотя б внутренней перелинковкой на что-то продающееся занимаются. И живым людям это не помешает.

[tabook]

Пока ждёте результаты тестов - почитайте TOS яндес-метрики, рэдхелпера, addthis. И в последнюю очередь можно гуглоаналитики, но то уже такое... Если яндекс-метрику осилите, то к другим уже мало вопросов останется.

 

Понял направление. Очень доходчиво, теперь все ясно. Спасибо :)