Перейти к содержанию
tabook

Кто-то сливает 404 страницы

Рекомендуемые сообщения

Приветствую всех.

Прошу прощения за столь неинформативный заголовок, но кратко описать не смог.

Недавно я заметил, что после перехода на сайте на 404 страницу, туда начинают ломиться боты. Обнаружил по чистой случайности: после переименования каталога admin в нечто подобное этому dfd36_yos5S5 сам перешел по dfd36-yos5S5

Каково же было мое удивление, когда спустя часов 6-8 пара ботов полезла долбиться на эту страницу.

 
88.198.209.11 -- [23/Sep/2014:20:17:52 +0400] "GET /dfd36-yos5S5 HTTP/1.0" 404 25759 "-" "PycURL/7.22.0"
54.210.165.200 - - [23/Sep/2014:23:01:19 +0400] "GET /dfd36-yos5S5 HTTP/1.0" 404 25759 "-" "Mozilla/5.0 (compatible; proximic; +http://www.proximic.com/info/spider.php)"
 
Проверил спустя сутки (перейдя на другую несуществующую страницу) на идеально чистой Unix машине - то же самое. С электронной книги (чтобы исключить вируса на клиенте) - то же самое. Итак, значит сайт.
 
Начал изучать сайт проверил все скрипты. "Наружу" хвост ведет только от а) Гугл-Аналитикс, б) Яндекс-Метрика в) онлайн чат от RedHelper
 
Сейчас отключил все, включаю по одному, определяю шпиона. Может кто сталкивался с подобным и знает кто сливает данные?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Чья сборка? 

Вы в роботс запретили индексацию новой папки админа?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Чья сборка? 

Вы в роботс запретили индексацию новой папки админа?

А скажите - смысл, если нет прямой ссылки.

 

Тс... я знаю про яндексбары :)

 

https://opencartforum.com/files/file/1892-404-log/

Попробуйте

Будет еще и referer  и не надо фильтровать логи апача

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

ocStore 1.5.5.1.1

Роботс не трогал, ибо повторяется на любом вымышленном URL кидающем 404: через 4-8 часов прилетают боты.
Логи фильтровал вручную, пока не сложно :)
 
referer ов (которые нотифицируют скриптами свои сервера о 404) я привел выше: три потенциальных саботажника: яндекс, гугл, и редхелпер. отключил всех, подключаю по одному, смотрю результаты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Пока ждёте результаты тестов - почитайте TOS яндес-метрики, рэдхелпера, addthis. И в последнюю очередь можно гуглоаналитики, но то уже такое... Если яндекс-метрику осилите, то к другим уже мало вопросов останется.

Если читать - тяжело и долго, можно по-другому проэкспериментирвать. Зайти в любой интернет-магазин, пользующийся я.метрикой, и поищите-походите там по тем товарам, которых никогда не искали. Но лучше что-то популярное, что активно рекламируется - окна там, водонагреватели, вайфай, коляски... А потом через несколько часов или 1-2 дня -- куда-нибудь в поиск или другой магазин с рекламой от яндекса. Вернее, не магазин, а сайт с рекламой. Новости например, портал какой, поиск тот же.

И удивляемся обилию рекламы на ту тему, которую искали-смотрели. Со всех сторон станут резко бомбить предложениями купить коляску и вайфай (например).

P.S. А 404 используйте в свою пользу: навесьте на эту схему модуль какой полезный, и пусть если боты - то хотя б внутренней перелинковкой на что-то продающееся занимаются. И живым людям это не помешает.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Пока ждёте результаты тестов - почитайте TOS яндес-метрики, рэдхелпера, addthis. И в последнюю очередь можно гуглоаналитики, но то уже такое... Если яндекс-метрику осилите, то к другим уже мало вопросов останется.

 

Понял направление. Очень доходчиво, теперь все ясно. Спасибо :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.