Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

SEO bot checker


SEO bot checker


Модуль отслеживает активность ботов на сайте.

Простое и удобное расширение, имеющее возможность добавлять любых ботов.

 

Ведет архивную статистику с посещаемыми страницами и датами их посещения (в том числе IP-адреса).

 

Полезен для анализа индексации сайта разными поисковыми системами, ботами проверки ссылок (типа Ahrefs) или анализа парсинга сайта злоумышленниками.

Выслушаю любое мнение по улучшению и хотелкам.

1. Интересен последний заход робота

2. Интересна статистика заходов, частота посещения, количество страниц за время посещения, по времени..

3. В том числе возможно отслеживание известных ботов парсинга и спамботов, которые можно прикрывать, но уже другими средствами.

Demo нет, все на скрине.

 

Полезен   или бесполезен - решать вам..
Что умеем..
бот - страница - route - дата

Т.е. юзерагент - посещенная страница - внутренне представление - дата посещения

Зачем?
Вы создали товар, вам нужно узнать  - посетил ли страницу бот, и когда.
Конечно, вы можете использовать парсеры http логов, и делать это чуть ли не ежедневно..
Или же пользовать отчеты от различных метрик

Модуль дает возможность в любое время узнать о посещаемости ботами. Строить свои отчеты при определенном навыке.
Можно увидеть какие боты посещают. айпи, и пострить частость, и время посещения. Например на одном из подопытных сайтов, было выяснено, что Г-бот  очень редко ходит с 2-х до 4-х утра, а в рабочие часы чаще.
 

 

 

Далее читать не обязательно  - просто история развития

Редактирование ботов

Фильтр по ботам

Кнопки проверки страниц в индексе

посещенная страница представлена с протоколом

Добавлена кнопка отчета

Учитываются мултимагазины

Включена поддержка кириллический доменов

Добавлен отчет по частоте посещения роботами по часам.Добавлен функционал отладки - проверить правильно ли установлен

Можно отключить проверку ссылок в роботс, если не нужно.

добавлены отчеты-информация - количество ботов на странице, количество страниц, просмотренных ботом - при наведении на столбец

 


  • Автор
  • долучення
    09.06.16
  • Категорія
  • Системные требования
  • Метод активации
    Без активации
  • Ioncube Loader
    Нет
  • ocStore
    3.0
    2.3.0.2.4
    2.3
  • OpenCart.Pro, ocShop
  • Звернення до сервера розробника
    Нет

 

Надіслати
Поділитися на інших сайтах

alexsoftdev :)

Дело не в позициях, дело в отношении к сайту и, конечно же к позициям, но после анализа
Жду результаты работы.

Надіслати
Поділитися на інших сайтах

Если есть список посещенных страниц.

Получаем список всех страниц.

Сравниваем.

Выводим список страниц, по которым нет совпадений.

Надіслати
Поділитися на інших сайтах

Вести лог посещений - более затратно, чем вести лог посещений бота

Надіслати
Поділитися на інших сайтах

Согласен. Но при таком подходе вижу практическую пользу.

Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят.

  • +1 1
Надіслати
Поділитися на інших сайтах

Ту такая штука обнаружилась

 

"признаки" ботов брались из двух источников

1 - сам ОС

2 - сторонний

 

На дубли не проверялись

 

При установке они заносятся в таблицу

 

Сделайте у себя следующий запрос

DELETE me
FROM oc_bot_name as me JOIN oc_bot_name as clone
WHERE me.http = clone.http
AND me.name = clone.name
AND me.bot_name_id < clone.bot_name_id

Тем самым удалив дубли и оставив только один экземпляр

Все же 300 ботов лучше.

Надіслати
Поділитися на інших сайтах

вот кстати иллюстрация работы ботов при при открытом :( robots

Это на демо сайте.

 

 

3199536517.png

Надіслати
Поділитися на інших сайтах

Согласен. Но при таком подходе вижу практическую пользу.

Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят.

 

Я тут прикинул, что Не имеет значения..

 

Вы создали страницу, ждете робота

 

Отследить фильтром ее посещение

 

 

А вот если в этом списке появятся страницы с навигацией, сортировкой и прочими прелестями - то нужно бить тревогу!!!

Так что нужен контроль именно робота!

Надіслати
Поділитися на інших сайтах

Для тех кто пользуется! Обновитесь!

В контроллере был "включен" режим отладки.

Надіслати
Поділитися на інших сайтах

Как вам идея?

 

Возле каждой посещенной страницы сделать кнопочку - проверить в индексе?

Надіслати
Поділитися на інших сайтах

Как вам идея?

 

Возле каждой посещенной страницы сделать кнопочку - проверить в индексе?

Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу  :-)

Надіслати
Поділитися на інших сайтах

Итак, модуль приобрел. Вот некоторые идеи:

1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот.

2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом...

3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе.

4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально)

 

https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов

Надіслати
Поділитися на інших сайтах

4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально)

 

 

Удивили..

Не ходит он как человек.

 

 

2) Если возможно, показывать страницу вместе с доменом.

 

Да-да уже думал

 

 

3) Проверка индексации страниц - хорошая идея

 

Не... только вручную, иначе под спам с вводом капчи

Надіслати
Поділитися на інших сайтах

Удивили..

Не ходит он как человек.

Не... только вручную, иначе под спам с вводом капчи

Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение.

 

Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же.

Надіслати
Поділитися на інших сайтах

 

Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение.

Нет конечно!!!

 

Открыл, поискал ссылки, отложил в очередь..

И когда там придет очередь неизвестно..

 

 

Не путайте ПС пауки с парсерами.

Надіслати
Поділитися на інших сайтах

Тут много  развития надо и есть куда смотреть

 

Можно Сгенерированную карту сайта проверять с посещенными страницами..

 

Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения

Или самостоятельно генерировать

 

 

 

Можно и, наверное нужно, кроме полной очистки логов
периодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках)

Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю

Надіслати
Поділитися на інших сайтах

Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею.

 

ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется.

 

Сформулирую проблему проще: "ускорить и дополнить индексацию".

Надіслати
Поділитися на інших сайтах

Если придумаем механизм помогающий с вот этим:

 

пингаторы!

Надіслати
Поділитися на інших сайтах

Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает?

Можно тогда встроить кнопочку "ping"  в данный модуль ;) и полезность его возрастет.

Надіслати
Поділитися на інших сайтах

https://www.phpbb.co...ic.php?t=935605 - хороший список ботов

 

Та ну его по одному таскать :)

Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.