Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

[Поддержка] SEO bot checker


 Поделиться

Рекомендованные сообщения

SEO bot checker


SEO bot checker


Модуль отслеживает активность ботов на сайте.

Простое и удобное расширение, имеющее возможность добавлять любых ботов.

 

Ведет архивную статистику с посещаемыми страницами и датами их посещения (в том числе IP-адреса).

 

Полезен для анализа индексации сайта разными поисковыми системами, ботами проверки ссылок (типа Ahrefs) или анализа парсинга сайта злоумышленниками.

Выслушаю любое мнение по улучшению и хотелкам.

1. Интересен последний заход робота

2. Интересна статистика заходов, частота посещения, количество страниц за время посещения, по времени..

3. В том числе возможно отслеживание известных ботов парсинга и спамботов, которые можно прикрывать, но уже другими средствами.

Demo нет, все на скрине.

 

Полезен   или бесполезен - решать вам..
Что умеем..
бот - страница - route - дата

Т.е. юзерагент - посещенная страница - внутренне представление - дата посещения

Зачем?
Вы создали товар, вам нужно узнать  - посетил ли страницу бот, и когда.
Конечно, вы можете использовать парсеры http логов, и делать это чуть ли не ежедневно..
Или же пользовать отчеты от различных метрик

Модуль дает возможность в любое время узнать о посещаемости ботами. Строить свои отчеты при определенном навыке.
Можно увидеть какие боты посещают. айпи, и пострить частость, и время посещения. Например на одном из подопытных сайтов, было выяснено, что Г-бот  очень редко ходит с 2-х до 4-х утра, а в рабочие часы чаще.
 

 

 

Далее читать не обязательно  - просто история развития

Редактирование ботов

Фильтр по ботам

Кнопки проверки страниц в индексе

посещенная страница представлена с протоколом

Добавлена кнопка отчета

Учитываются мултимагазины

Включена поддержка кириллический доменов

Добавлен отчет по частоте посещения роботами по часам.Добавлен функционал отладки - проверить правильно ли установлен

Можно отключить проверку ссылок в роботс, если не нужно.

добавлены отчеты-информация - количество ботов на странице, количество страниц, просмотренных ботом - при наведении на столбец

 


  • Автор
  • долучення
    09.06.16
  • Категорія
  • Системные требования
  • Метод активации
    Без активации
  • Ioncube Loader
    Нет
  • ocStore
    3.0
    2.3.0.2.4
    2.3
  • OpenCart.Pro, ocShop
  • Звернення до сервера розробника
    Нет

 

Ссылка на комментарий
Поделиться на других сайтах

Ух "ты", хороший девайс для админа

Ссылка на комментарий
Поделиться на других сайтах

alexsoftdev :)

Дело не в позициях, дело в отношении к сайту и, конечно же к позициям, но после анализа
Жду результаты работы.

Ссылка на комментарий
Поделиться на других сайтах

Если есть список посещенных страниц.

Получаем список всех страниц.

Сравниваем.

Выводим список страниц, по которым нет совпадений.

Ссылка на комментарий
Поделиться на других сайтах

Вести лог посещений - более затратно, чем вести лог посещений бота

Ссылка на комментарий
Поделиться на других сайтах

Согласен. Но при таком подходе вижу практическую пользу.

Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят.

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

Это идея уже другого модуля - треккер маршрута заказа

Ссылка на комментарий
Поделиться на других сайтах

Ту такая штука обнаружилась

 

"признаки" ботов брались из двух источников

1 - сам ОС

2 - сторонний

 

На дубли не проверялись

 

При установке они заносятся в таблицу

 

Сделайте у себя следующий запрос

DELETE me
FROM oc_bot_name as me JOIN oc_bot_name as clone
WHERE me.http = clone.http
AND me.name = clone.name
AND me.bot_name_id < clone.bot_name_id

Тем самым удалив дубли и оставив только один экземпляр

Все же 300 ботов лучше.

Ссылка на комментарий
Поделиться на других сайтах

вот кстати иллюстрация работы ботов при при открытом :( robots

Это на демо сайте.

 

 

3199536517.png

Ссылка на комментарий
Поделиться на других сайтах

Согласен. Но при таком подходе вижу практическую пользу.

Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят.

 

Я тут прикинул, что Не имеет значения..

 

Вы создали страницу, ждете робота

 

Отследить фильтром ее посещение

 

 

А вот если в этом списке появятся страницы с навигацией, сортировкой и прочими прелестями - то нужно бить тревогу!!!

Так что нужен контроль именно робота!

Ссылка на комментарий
Поделиться на других сайтах

Для тех кто пользуется! Обновитесь!

В контроллере был "включен" режим отладки.

Ссылка на комментарий
Поделиться на других сайтах

Как вам идея?

 

Возле каждой посещенной страницы сделать кнопочку - проверить в индексе?

Ссылка на комментарий
Поделиться на других сайтах

Как вам идея?

 

Возле каждой посещенной страницы сделать кнопочку - проверить в индексе?

Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу  :-)

Ссылка на комментарий
Поделиться на других сайтах

Итак, модуль приобрел. Вот некоторые идеи:

1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот.

2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом...

3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе.

4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально)

 

https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов

Ссылка на комментарий
Поделиться на других сайтах

4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально)

 

 

Удивили..

Не ходит он как человек.

 

 

2) Если возможно, показывать страницу вместе с доменом.

 

Да-да уже думал

 

 

3) Проверка индексации страниц - хорошая идея

 

Не... только вручную, иначе под спам с вводом капчи

Ссылка на комментарий
Поделиться на других сайтах

Удивили..

Не ходит он как человек.

Не... только вручную, иначе под спам с вводом капчи

Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение.

 

Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же.

Ссылка на комментарий
Поделиться на других сайтах

 

Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение.

Нет конечно!!!

 

Открыл, поискал ссылки, отложил в очередь..

И когда там придет очередь неизвестно..

 

 

Не путайте ПС пауки с парсерами.

Ссылка на комментарий
Поделиться на других сайтах

Тут много  развития надо и есть куда смотреть

 

Можно Сгенерированную карту сайта проверять с посещенными страницами..

 

Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения

Или самостоятельно генерировать

 

 

 

Можно и, наверное нужно, кроме полной очистки логов
периодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках)

Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю

Ссылка на комментарий
Поделиться на других сайтах

Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею.

 

ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется.

 

Сформулирую проблему проще: "ускорить и дополнить индексацию".

Ссылка на комментарий
Поделиться на других сайтах

Если придумаем механизм помогающий с вот этим:

 

пингаторы!

Ссылка на комментарий
Поделиться на других сайтах

Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает?

Можно тогда встроить кнопочку "ping"  в данный модуль ;) и полезность его возрастет.

Ссылка на комментарий
Поделиться на других сайтах

https://www.phpbb.co...ic.php?t=935605 - хороший список ботов

 

Та ну его по одному таскать :)

Ссылка на комментарий
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.