Опис файлу
Модуль відстежує активність роботів на сайті.
Просте та зручне розширення, що має можливість додавати будь-яких ботів.
Веде архівну статистику з відвідуваними сторінками та датами їх відвідування (у тому числі IP-адреси).
Корисний для аналізу індексації сайту різними пошуковими системами, роботами перевірки посилань (типу Ahrefs) або аналізу парсингу сайту зловмисниками.
Вислухаю будь-яку думку щодо покращення та побажань
1. Цікавим є останній захід робота
2. Цікава статистика заходів, частота відвідування, кількість сторінок за час відвідування, за часом.
3. У тому числі можливе відстеження відомих ботів парсингу та спамботів, які можна прикривати, але вже іншими засобами.
Demo ні, все на скрині.
Корисний або некорисний - вирішувати вам.
Що вміємо.
бот - сторінка - route - дата
Тобто. юзерагент - відвідана сторінка - внутрішнє уявлення - дата відвідування
Навіщо?
Ви створили товар, вам потрібно дізнатися - чи відвідав сторінку бот, і коли.
Звичайно, ви можете використовувати парсери http логів, і робити це чи не щодня.
Або ж використовувати звіти від різних метрик
Модуль дає можливість будь-коли дізнатися про відвідуваність ботами. Будувати свої звіти за певної навички.
Можна побачити які роботи відвідують. айпи, і побудувати часто, і час відвідування. Наприклад на одному з піддослідних сайтів, було з'ясовано, що Г-бот дуже рідко ходить з 2-ї до 4-ї ранку, а в робочі години частіше.
Далі читати не обов'язково – просто історія розвитку
Редагування ботів
Фільтр з ботів
Кнопки перевірки сторінок в індексі
відвідана сторінка представлена з протоколом
Додано кнопку звіту
Враховуються мултимагазини
Включено підтримку кириличних доменів
Додано звіт про частоту відвідування роботами по годинниках. Додано функціонал налагодження - перевірити чи правильно встановлено
Можна вимкнути перевірку посилань у роботі, якщо не потрібно.
Додано звіти-інформацію - кількість ботів на сторінці, кількість сторінок, переглянутих ботом - при наведенні на стовпець
