Рекомендуемые сообщения

chukcha    834

index.php?app=downloads&module=display&section=screenshot&id=3200

Название: SEO bot checker

Добавил: chukcha

Добавлен: 09 июня 2016

Категория: Прочее

Работает на OpenCart: 2.1.х

Работает на ocStore: 2.1.х

Работает на OpenCart.Pro, ocShop: должно работать

Метод активации: Без активации

Ioncube Loader: Нет

Модуль отслеживает активность ботов на сайте.

Простое и удобное расширение, имеющее возможность добавлять любых ботов (в планах).

Ведет архивную статистику с посещаемыми страницами и датами их посещения (в том числе IP-адреса).

Полезен для анализа индексации сайта разными поисковыми системами, ботами проверки ссылок (типа Ahrefs) или анализа парсинга сайта злоумышленниками.

Выслушаю любое мнение по улучшению и хотелкам.

1. Интересен последний заход робота

2. Интересна статистика заходов, частота посещения, количество страниц за время посещения, по времени..

3. В том числе возможно отслеживание известных ботов парсинга и спамботов, которые можно прикрывать, но уже другими средствами.

Demo нет, все на скрине.

Для обновления, достаточно из архива удалить install.xml

upd 10.06.2016

Очистка таблицы + пагинация

Удаление ботов

upd 11.06.2016

Редактирование ботов

Фильтр по ботам

Кнопки проверки страниц в индексе

посещенная страница представлена с протоколом

upd 28.06.2016

Добавлена кнопка отчета

Учитываются мултимагазины

Включена поддержка кириллический доменов

upd 04.07.2016

убрана отладочная информация (для обновления - просто скопировать файлы из архива, без установки)

upd 07.07.2016

исправлена ошибка анализатора правил robots.txt

upd 02.07.2016

исправлена ошибка связанная с отсутствием префикс к базе. (для тех кто с oc_ даже и не заметили)

повторное исправление предыдущего апдейта .. (карма)

Добавлен отчет по частоте посещения роботами по часам.

upd 02.08.2016

добавлено редактирование и добавление ботов

upd 09.08.2016

При заходе бота по ломаной ссылке, например такой index.php?_route_=ru/c,63_66,%25d0%25b2%25d1%258b%25d0%25b1%25d0%25b5%25d1%258....

"ломалась" верстка таблицы

upd 17.08.2016

Немного изменен интерфейс

Добавлен функционал отладки - проверить правильно ли установлен

Можно отключить проверку ссылок в роботс, если не нужно.

Также существует версия для 2.3

upd 23.08.2016

добавлены отчеты-информация - количество ботов на странице, количество страниц, просмотренных ботом - при наведении на столбец

Для обновления или скопировать архив, или через установщик, предварительно удалив из расширений ocmod bot checker

Нажмите здесь, чтобы скачать файл

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
markimax    1 382

Ух "ты", хороший девайс для админа

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexsoftdev    5

После покупки модуля позиции моего сайта переплюнули конкурентов втрое. Рекомендую всем!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
chukcha    834

alexsoftdev :)

Дело не в позициях, дело в отношении к сайту и, конечно же к позициям, но после анализа
Жду результаты работы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
pantagruel964    217

А если пойти от обратного? И генерировать список непосещенных страниц?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
chukcha    834

КАК?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
pantagruel964    217

Если есть список посещенных страниц.

Получаем список всех страниц.

Сравниваем.

Выводим список страниц, по которым нет совпадений.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
chukcha    834

Вести лог посещений - более затратно, чем вести лог посещений бота

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
pantagruel964    217

Согласен. Но при таком подходе вижу практическую пользу.

Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
chukcha    834

Это идея уже другого модуля - треккер маршрута заказа

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
pantagruel964    217

Вам виднее. Это было мнение по улучшению :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
chukcha    834

Ту такая штука обнаружилась

 

"признаки" ботов брались из двух источников

1 - сам ОС

2 - сторонний

 

На дубли не проверялись

 

При установке они заносятся в таблицу

 

Сделайте у себя следующий запрос

DELETE me
FROM oc_bot_name as me JOIN oc_bot_name as clone
WHERE me.http = clone.http
AND me.name = clone.name
AND me.bot_name_id < clone.bot_name_id

Тем самым удалив дубли и оставив только один экземпляр

Все же 300 ботов лучше.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
chukcha    834

вот кстати иллюстрация работы ботов при при открытом :( robots

Это на демо сайте.

 

 

3199536517.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
chukcha    834

Согласен. Но при таком подходе вижу практическую пользу.

Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят.

 

Я тут прикинул, что Не имеет значения..

 

Вы создали страницу, ждете робота

 

Отследить фильтром ее посещение

 

 

А вот если в этом списке появятся страницы с навигацией, сортировкой и прочими прелестями - то нужно бить тревогу!!!

Так что нужен контроль именно робота!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
chukcha    834

Для тех кто пользуется! Обновитесь!

В контроллере был "включен" режим отладки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
chukcha    834

Как вам идея?

 

Возле каждой посещенной страницы сделать кнопочку - проверить в индексе?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
pantagruel964    217

Как вам идея?

 

Возле каждой посещенной страницы сделать кнопочку - проверить в индексе?

Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу  :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1nSane    35

Итак, модуль приобрел. Вот некоторые идеи:

1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот.

2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом...

3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе.

4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально)

 

https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
chukcha    834

4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально)

 

 

Удивили..

Не ходит он как человек.

 

 

2) Если возможно, показывать страницу вместе с доменом.

 

Да-да уже думал

 

 

3) Проверка индексации страниц - хорошая идея

 

Не... только вручную, иначе под спам с вводом капчи

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1nSane    35

Удивили..

Не ходит он как человек.

Не... только вручную, иначе под спам с вводом капчи

Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение.

 

Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
chukcha    834

 

Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение.

Нет конечно!!!

 

Открыл, поискал ссылки, отложил в очередь..

И когда там придет очередь неизвестно..

 

 

Не путайте ПС пауки с парсерами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
chukcha    834

Тут много  развития надо и есть куда смотреть

 

Можно Сгенерированную карту сайта проверять с посещенными страницами..

 

Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения

Или самостоятельно генерировать

 

 

 

Можно и, наверное нужно, кроме полной очистки логов
периодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках)

Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1nSane    35

Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею.

 

ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется.

 

Сформулирую проблему проще: "ускорить и дополнить индексацию".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
chukcha    834
Если придумаем механизм помогающий с вот этим:

 

пингаторы!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1nSane    35

Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает?

Можно тогда встроить кнопочку "ping"  в данный модуль ;) и полезность его возрастет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти


  • Похожий контент

    • От chukcha
      Модуль отслеживает активность ботов на сайте.
      Простое и удобное расширение, имеющее возможность добавлять любых ботов (в планах).
      Ведет архивную статистику с посещаемыми страницами и датами их посещения (в том числе IP-адреса).
      Полезен для анализа индексации сайта разными поисковыми системами, ботами проверки ссылок (типа Ahrefs) или анализа парсинга сайта злоумышленниками.
      Выслушаю любое мнение по улучшению и хотелкам.
      1. Интересен последний заход робота
      2. Интересна статистика заходов, частота посещения, количество страниц за время посещения, по времени..
      3. В том числе возможно отслеживание известных ботов парсинга и спамботов, которые можно прикрывать, но уже другими средствами.
      Demo нет, все на скрине.
      Для обновления, достаточно из архива удалить install.xml
      upd 10.06.2016
      Очистка таблицы + пагинация
      Удаление ботов
      upd 11.06.2016
      Редактирование ботов
      Фильтр по ботам
      Кнопки проверки страниц в индексе
      посещенная страница представлена с протоколом
      upd 28.06.2016
      Добавлена кнопка отчета
      Учитываются мултимагазины
      Включена поддержка кириллический доменов
      upd 04.07.2016
      убрана отладочная информация (для обновления - просто скопировать файлы из архива, без установки)
      upd 07.07.2016
      исправлена ошибка анализатора правил robots.txt
      upd 02.07.2016
      исправлена ошибка связанная с отсутствием префикс к базе. (для тех кто с oc_ даже и не заметили)
      повторное исправление предыдущего апдейта .. (карма)
      Добавлен отчет по частоте посещения роботами по часам.
      upd 02.08.2016
      добавлено редактирование и добавление ботов
      upd 09.08.2016
      При заходе бота по ломаной ссылке, например такой index.php?_route_=ru/c,63_66,%25d0%25b2%25d1%258b%25d0%25b1%25d0%25b5%25d1%258....
      "ломалась" верстка таблицы
      upd 17.08.2016
      Немного изменен интерфейс
      Добавлен функционал отладки - проверить правильно ли установлен
      Можно отключить проверку ссылок в роботс, если не нужно.
      Также существует версия для 2.3
      upd 23.08.2016
      добавлены отчеты-информация - количество ботов на странице, количество страниц, просмотренных ботом - при наведении на столбец
      Для обновления или скопировать архив, или через установщик, предварительно удалив из расширений ocmod bot checker
  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу