Информация о файле
Модуль отслеживает активность ботов на сайте.
Простое и удобное расширение, имеющее возможность добавлять любых ботов.
Ведет архивную статистику с посещаемыми страницами и датами их посещения (в том числе IP-адреса).
Полезен для анализа индексации сайта разными поисковыми системами, ботами проверки ссылок (типа Ahrefs) или анализа парсинга сайта злоумышленниками.
Выслушаю любое мнение по улучшению и хотелкам.
1. Интересен последний заход робота
2. Интересна статистика заходов, частота посещения, количество страниц за время посещения, по времени..
3. В том числе возможно отслеживание известных ботов парсинга и спамботов, которые можно прикрывать, но уже другими средствами.
Demo нет, все на скрине.
Полезен или бесполезен - решать вам..
Что умеем..
бот - страница - route - дата
Т.е. юзерагент - посещенная страница - внутренне представление - дата посещения
Зачем?
Вы создали товар, вам нужно узнать - посетил ли страницу бот, и когда.
Конечно, вы можете использовать парсеры http логов, и делать это чуть ли не ежедневно..
Или же пользовать отчеты от различных метрик
Модуль дает возможность в любое время узнать о посещаемости ботами. Строить свои отчеты при определенном навыке.
Можно увидеть какие боты посещают. айпи, и пострить частость, и время посещения. Например на одном из подопытных сайтов, было выяснено, что Г-бот очень редко ходит с 2-х до 4-х утра, а в рабочие часы чаще.
Далее читать не обязательно - просто история развития
Редактирование ботов
Фильтр по ботам
Кнопки проверки страниц в индексе
посещенная страница представлена с протоколом
Добавлена кнопка отчета
Учитываются мултимагазины
Включена поддержка кириллический доменов
Добавлен отчет по частоте посещения роботами по часам.Добавлен функционал отладки - проверить правильно ли установлен
Можно отключить проверку ссылок в роботс, если не нужно.
добавлены отчеты-информация - количество ботов на странице, количество страниц, просмотренных ботом - при наведении на столбец
