Jump to content
Sign in to follow this  
tabook

Кто-то сливает 404 страницы

Recommended Posts

Приветствую всех.

Прошу прощения за столь неинформативный заголовок, но кратко описать не смог.

Недавно я заметил, что после перехода на сайте на 404 страницу, туда начинают ломиться боты. Обнаружил по чистой случайности: после переименования каталога admin в нечто подобное этому dfd36_yos5S5 сам перешел по dfd36-yos5S5

Каково же было мое удивление, когда спустя часов 6-8 пара ботов полезла долбиться на эту страницу.

 
88.198.209.11 -- [23/Sep/2014:20:17:52 +0400] "GET /dfd36-yos5S5 HTTP/1.0" 404 25759 "-" "PycURL/7.22.0"
54.210.165.200 - - [23/Sep/2014:23:01:19 +0400] "GET /dfd36-yos5S5 HTTP/1.0" 404 25759 "-" "Mozilla/5.0 (compatible; proximic; +http://www.proximic.com/info/spider.php)"
 
Проверил спустя сутки (перейдя на другую несуществующую страницу) на идеально чистой Unix машине - то же самое. С электронной книги (чтобы исключить вируса на клиенте) - то же самое. Итак, значит сайт.
 
Начал изучать сайт проверил все скрипты. "Наружу" хвост ведет только от а) Гугл-Аналитикс, б) Яндекс-Метрика в) онлайн чат от RedHelper
 
Сейчас отключил все, включаю по одному, определяю шпиона. Может кто сталкивался с подобным и знает кто сливает данные?

Share this post


Link to post
Share on other sites

Чья сборка? 

Вы в роботс запретили индексацию новой папки админа?

Share this post


Link to post
Share on other sites

Чья сборка? 

Вы в роботс запретили индексацию новой папки админа?

А скажите - смысл, если нет прямой ссылки.

 

Тс... я знаю про яндексбары :)

 

https://opencartforum.com/files/file/1892-404-log/

Попробуйте

Будет еще и referer  и не надо фильтровать логи апача

Share this post


Link to post
Share on other sites

ocStore 1.5.5.1.1

Роботс не трогал, ибо повторяется на любом вымышленном URL кидающем 404: через 4-8 часов прилетают боты.
Логи фильтровал вручную, пока не сложно :)
 
referer ов (которые нотифицируют скриптами свои сервера о 404) я привел выше: три потенциальных саботажника: яндекс, гугл, и редхелпер. отключил всех, подключаю по одному, смотрю результаты.

Share this post


Link to post
Share on other sites

Пока ждёте результаты тестов - почитайте TOS яндес-метрики, рэдхелпера, addthis. И в последнюю очередь можно гуглоаналитики, но то уже такое... Если яндекс-метрику осилите, то к другим уже мало вопросов останется.

Если читать - тяжело и долго, можно по-другому проэкспериментирвать. Зайти в любой интернет-магазин, пользующийся я.метрикой, и поищите-походите там по тем товарам, которых никогда не искали. Но лучше что-то популярное, что активно рекламируется - окна там, водонагреватели, вайфай, коляски... А потом через несколько часов или 1-2 дня -- куда-нибудь в поиск или другой магазин с рекламой от яндекса. Вернее, не магазин, а сайт с рекламой. Новости например, портал какой, поиск тот же.

И удивляемся обилию рекламы на ту тему, которую искали-смотрели. Со всех сторон станут резко бомбить предложениями купить коляску и вайфай (например).

P.S. А 404 используйте в свою пользу: навесьте на эту схему модуль какой полезный, и пусть если боты - то хотя б внутренней перелинковкой на что-то продающееся занимаются. И живым людям это не помешает.

Share this post


Link to post
Share on other sites

Пока ждёте результаты тестов - почитайте TOS яндес-метрики, рэдхелпера, addthis. И в последнюю очередь можно гуглоаналитики, но то уже такое... Если яндекс-метрику осилите, то к другим уже мало вопросов останется.

 

Понял направление. Очень доходчиво, теперь все ясно. Спасибо :)

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.