[Поддержка] SEO bot checker

[chukcha]

Завантажити / Придбати розширення

SEO bot checker

---

Модуль отслеживает активность ботов на сайте.

Простое и удобное расширение, имеющее возможность добавлять любых ботов.

 

Ведет архивную статистику с посещаемыми страницами и датами их посещения (в том числе IP-адреса).

 

Полезен для анализа индексации сайта разными поисковыми системами, ботами проверки ссылок (типа Ahrefs) или анализа парсинга сайта злоумышленниками.

Выслушаю любое мнение по улучшению и хотелкам.

1. Интересен последний заход робота

2. Интересна статистика заходов, частота посещения, количество страниц за время посещения, по времени..

3. В том числе возможно отслеживание известных ботов парсинга и спамботов, которые можно прикрывать, но уже другими средствами.

Demo нет, все на скрине.

 

Полезен   или бесполезен - решать вам..
Что умеем..
бот - страница - route - дата

Т.е. юзерагент - посещенная страница - внутренне представление - дата посещения

Зачем?
Вы создали товар, вам нужно узнать  - посетил ли страницу бот, и когда.
Конечно, вы можете использовать парсеры http логов, и делать это чуть ли не ежедневно..
Или же пользовать отчеты от различных метрик

Модуль дает возможность в любое время узнать о посещаемости ботами. Строить свои отчеты при определенном навыке.
Можно увидеть какие боты посещают. айпи, и пострить частость, и время посещения. Например на одном из подопытных сайтов, было выяснено, что Г-бот  очень редко ходит с 2-х до 4-х утра, а в рабочие часы чаще.
 

 

 

Далее читать не обязательно  - просто история развития

Редактирование ботов

Фильтр по ботам

Кнопки проверки страниц в индексе

посещенная страница представлена с протоколом

Добавлена кнопка отчета

Учитываются мултимагазины

Включена поддержка кириллический доменов

Добавлен отчет по частоте посещения роботами по часам.Добавлен функционал отладки - проверить правильно ли установлен

Можно отключить проверку ссылок в роботс, если не нужно.

добавлены отчеты-информация - количество ботов на странице, количество страниц, просмотренных ботом - при наведении на столбец

 

---

• Автор
  chukcha
• долучення
  09.06.16
• Категорія
  SEO, карта сайта, оптимизация
• Системные требования
• Метод активации
  Без активации
• Ioncube Loader
  Нет
• ocStore
  3.0
  2.3.0.2.4
  2.3
• OpenCart.Pro, ocShop
• Звернення до сервера розробника
  Нет

 

[markimax]

Ух "ты", хороший девайс для админа

[chukcha]

alexsoftdev :)

Дело не в позициях, дело в отношении к сайту и, конечно же к позициям, но после анализа
Жду результаты работы.

[pantagruel964]

А если пойти от обратного? И генерировать список непосещенных страниц?

[chukcha]

КАК?

[pantagruel964]

Если есть список посещенных страниц.

Получаем список всех страниц.

Сравниваем.

Выводим список страниц, по которым нет совпадений.

[chukcha]

Вести лог посещений - более затратно, чем вести лог посещений бота

[pantagruel964]

Согласен. Но при таком подходе вижу практическую пользу.

Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят.

[chukcha]

Это идея уже другого модуля - треккер маршрута заказа

[pantagruel964]

Вам виднее. Это было мнение по улучшению :-)

[chukcha]

Ту такая штука обнаружилась

 

"признаки" ботов брались из двух источников

1 - сам ОС

2 - сторонний

 

На дубли не проверялись

 

При установке они заносятся в таблицу

 

Сделайте у себя следующий запрос

DELETE me
FROM oc_bot_name as me JOIN oc_bot_name as clone
WHERE me.http = clone.http
AND me.name = clone.name
AND me.bot_name_id < clone.bot_name_id

Тем самым удалив дубли и оставив только один экземпляр

Все же 300 ботов лучше.

[chukcha]

вот кстати иллюстрация работы ботов при при открытом :( robots

Это на демо сайте.

 

 

[chukcha]

Согласен. Но при таком подходе вижу практическую пользу.

Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят.

 

Я тут прикинул, что Не имеет значения..

 

Вы создали страницу, ждете робота

 

Отследить фильтром ее посещение

 

 

А вот если в этом списке появятся страницы с навигацией, сортировкой и прочими прелестями - то нужно бить тревогу!!!

Так что нужен контроль именно робота!

[chukcha]

Для тех кто пользуется! Обновитесь!

В контроллере был "включен" режим отладки.

[chukcha]

Как вам идея?

 

Возле каждой посещенной страницы сделать кнопочку - проверить в индексе?

[pantagruel964]

Как вам идея?

 

Возле каждой посещенной страницы сделать кнопочку - проверить в индексе?

Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу  :-)

[1nSane]

Итак, модуль приобрел. Вот некоторые идеи:

1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот.

2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом...

3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе.

4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально)

 

https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов

[chukcha]

4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально)

 

 

Удивили..

Не ходит он как человек.

 

 

2) Если возможно, показывать страницу вместе с доменом.

 

Да-да уже думал

 

 

3) Проверка индексации страниц - хорошая идея

 

Не... только вручную, иначе под спам с вводом капчи

[1nSane]

Удивили..

Не ходит он как человек.

Не... только вручную, иначе под спам с вводом капчи

Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение.

 

Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же.

[chukcha]

 

Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение.

Нет конечно!!!

 

Открыл, поискал ссылки, отложил в очередь..

И когда там придет очередь неизвестно..

 

 

Не путайте ПС пауки с парсерами.

[chukcha]

Тут много  развития надо и есть куда смотреть

 

Можно Сгенерированную карту сайта проверять с посещенными страницами..

 

Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения

Или самостоятельно генерировать

 

 

 

Можно и, наверное нужно, кроме полной очистки логов
периодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках)

Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю

[1nSane]

Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею.

 

ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется.

 

Сформулирую проблему проще: "ускорить и дополнить индексацию".

[chukcha]

Если придумаем механизм помогающий с вот этим:

 

пингаторы!

[1nSane]

Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает?

Можно тогда встроить кнопочку "ping"  в данный модуль ;) и полезность его возрастет.

[chukcha]

https://www.phpbb.co...ic.php?t=935605 - хороший список ботов

 

Та ну его по одному таскать :)