Bot checker

[1nSane]

Есть такой хороший раздел в админке: /admin/index.php?route=report/customer_online

Показываются там посетители, которые онлайн. Но нет ли для ОС2 модуля, который бы проверял сразу по IP кому принадлежит этот адрес и выводил "Google, Yandex" у ботов. Чтобы можно сразу было увидеть, где гуляют боты, а где ходят люди.

Подобные модули есть для форумов, для awStats на сервере у меня похожая детекция стоит... а хотелось бы и на ОС2 тоже.

[TheDoctor]

Есть такой хороший раздел в админке: /admin/index.php?route=report/customer_online

Показываются там посетители, которые онлайн. Но нет ли для ОС2 модуля, который бы проверял сразу по IP кому принадлежит этот адрес и выводил "Google, Yandex" у ботов. Чтобы можно сразу было увидеть, где гуляют боты, а где ходят люди.

Подобные модули есть для форумов, для awStats на сервере у меня похожая детекция стоит... а хотелось бы и на ОС2 тоже.

Мог бы кинуть ссылку на такой модуль для форумов?

[1nSane]

mods.mybb.com/view/spider-bots

 

Во многих движках уже встроено это. В ОС в настройках тоже есть детекция ботов по UA, только вот она не синхронизирована с данным разделом админки. Не так важно как бот определяется будет, главное чтоб информацию выводило. Но опять же, в разделе можно ткнуть на IP адрес и получить его расшифровку, вот такое бы автоматизировать, ибо там видно часто что это бот, ahrefs ползает у меня, к примеру.

[chukcha]

Детектор по ботам был предназначен для кроссдоменного скрипта, не более, чтобы не светить session_id

 

В двойке остался ненужный цикл, увы..

 

Что вас конкретно интересует? посещенные страницы? или Факт захода?

[1nSane]

Детектор по ботам был предназначен для кроссдоменного скрипта, не более, чтобы не светить session_id

 

В двойке остался ненужный цикл, увы..

 

Что вас конкретно интересует? посещенные страницы? или Факт захода?

В идеале, конечно, хотелось бы видеть, куда какие боты ходят, чтобы обнаружить можно было недостающее правило в роботс.тхт, к примеру или попытаться понять почему страница Х не попала в индекс, хотя бот заходил на нее 5 раз за неделю.

[chukcha]

И за сколько вы такой модуль купили бы?

И много таких желающих?

 

Кроме вас и, возможно, меня никому это не интересно :)

[1nSane]

И за сколько вы такой модуль купили бы?

И много таких желающих?

 

Кроме вас и, возможно, меня никому это не интересно :)

Я понимаю, что если самому заказывать индивидуально, то ценник будет конским. Но тут главное как представить лицом народу модуль. Куча народа помешаны на СЕО, а тут такой инструмент для анализа и ответа на вопрос, почему у меня 100500 товаров, а в поисковике всего 124 проиндексированных страницы...

[chukcha]

Вот смотрите

 

1 покупка

https://opencartforum.com/files/file/3117-%D0%B1%D0%B8%D1%82%D1%8B%D0%B5-%D1%81%D1%81%D0%BB%D0%BA%D0%B8-http-404/

а я без него жизни не знаю - половина проблем пропадает сразу,

 

 

4 покупки

https://opencartforum.com/files/file/2868-soforp-%D0%B1%D0%B8%D1%82%D1%8B%D0%B5-%D1%81%D1%81%D1%8B%D0%BB%D0%BA%D0%B8-http-404/

 

Как вы думает сколько было вложено сил в эти два модуля? Разными авторами?

 

 

370 раз скачали

https://opencartforum.com/files/file/1892-404-log/

Этот появился бесплатным, и останется

2! года 370 загрузок!!!

 

Это сео нахрен никому не сдалось.

 

А вы говорите о - помешанные

 

 

Вот вам еще в статистику

 

40 покупок

https://opencartforum.com/files/file/2015-soforp-%D0%BC%D0%B5%D0%BD%D0%B5%D0%B4%D0%B6%D0%B5%D1%80-%D1%80%D0%B5%D0%B4%D0%B8%D1%80%D0%B5%D0%BA%D1%82%D0%BE%D0%B2/

 

скачали 203

https://opencartforum.com/files/file/2908-%D0%BC%D0%B5%D0%BD%D0%B5%D0%B4%D0%B6%D0%B5%D1%80-301-%D1%80%D0%B5%D0%B4%D0%B8%D1%80%D0%B5%D0%BA%D1%82%D0%BE%D0%B2/

 

скачали 234

https://opencartforum.com/files/file/2968-oc-store-redirect-opencart-2x/

 

Тут статистика получше, но СЕО нахрен не нужно!!!

 

редиректы , 404  это связанные между собой проблемы и решения для СЕО, это должно быть чуть ли не на каждом сайте.

 

 

Хотите эксперимент?

 

Вы платите мне за разработку модуля, я вам его отдаю, вы его выставляете в продажу. Я обещаю осуществлять его поддержку.

Рискнете?

Змінено 8 червня 2016 користувачем chukcha

[1nSane]

Так ни в одном из модулей нет в названии SEO :) Сколько было продаж у "OcSEO Plus - Решение в 1 клик" пока его тут не удалили? Многие ищут комбайны и ищут по фразе SEO. От SOFORP я тоже паком купил все модули. Но их функции во многом пересекаются.

 

Можно было бы и рискнуть с этим модулем, если мой бюджет его потянет ;) Но тут есть значительный минус - это не будет автоматом, тут только возможность анализа, а кому хочется думать? Все хотят волшебную кнопку БАБЛО.

[chukcha]

Можно было бы и рискнуть с этим модулем, если мой бюджет его потянет

 

Закажите разработку в складчину :)

 

Пока мы тут балачкы разводим модуль на 80% готов :)

 

 

Но тут есть значительный минус - это не будет автоматом,

 

СЕО - это не автомат

СЕО - это постоянный мониторинг и аналитика

 

 

От SOFORP я тоже паком купил все модули. Но их функции во многом пересекаются.

 

Да, и это возможно правильно..

Связи между модулями

404 лог должен быть связан с ботчекром - добавить возможно бота в список

редирект с 404 - добавить правило

ботчекер - с ними обоим - проверка

 

 

 

Так ни в одном из модулей нет в названии SEO

 

Пойду поправлю название :)

[1nSane]

Закажите разработку в складчину :)

Пойду поправлю название :)

Пока я даже не услышал ценника ;)

А с названием совсем не шутка, тут надо выбирать - продажи или...

 

Я сам пишу на РНР, но это было давно, писал самописные движки. Теперь на это нет времени, а тем более изучать чью-то экосистему и подстраиваться. Я многое могу реализовать сам, но не через ОС, а напрямую обращаясь к БД и прочему, а хочется-то все правильно сделать, через средства движка.

[chukcha]

только не смотрите что нет признака бота

Возьмете на тестирование?

[1nSane]

У меня вообще картинка не грузится ;) А на тест, почему бы и не взять ;)

[chukcha]

Вот смотрите мы тут с вами уже второй день ведем разговоры,  а результат

 

12 ответов

 

74 просмотра (грубо 30 наших)

 

44 просмотрело - кто-то смотрел повторно на каждый новый окло 15 чел заинтересовались.

из этих 15-ти ни один не заинтересовался, и ни чего не предложил :(

 

И.. кому это сео надо? Где эти маньяки?

 

Вот такая статистика.

 

Как будет готово для теста я маякну в личку.

[pantagruel964]

Я для анализа пользуюсь сео фрогом, информации больше, чем достаточно. Работает с АПИ гугл аналитики и вебмастера, можно делать свои фильтры и выгружать в эксель. Все ошибки и косяки, как на ладони. Поисковые операторы тоже никто не отменял. Следить еще какие боты по сайту ползают не вижу смысла. Это уже слишком на любителя  :ugeek:

[chukcha]

Вы имеет доступ к http логам?

Все ли знают как их получить?

Все ли могут иметь к ним доступ?

Какое время хранения логов?

 

 

Следить еще какие боты по сайту ползают не вижу смысла

 

Да, представьте себе.. По крайней мере можно отследить частоту заходов ..

[pantagruel964]

Оооочень редко просматриваю логи. Особой необходимости в этом нет. Но если вдруг возникает - есть удобный просмотрщик.

 

Отследить частоту можно... нууу.. не вижу практической необходимости для себя.. если боты не ходят - причина вскроется при анализе, это ж всего лишь следствие.. Может быть имеет смысл проверить, если пришел новый сайт на обслуживание. А те которые есть и за ними ухаживают - такой потребности не вижу.

[1nSane]

Я для анализа пользуюсь сео фрогом, информации больше, чем достаточно. Работает с АПИ гугл аналитики и вебмастера, можно делать свои фильтры и выгружать в эксель. Все ошибки и косяки, как на ладони. Поисковые операторы тоже никто не отменял. Следить еще какие боты по сайту ползают не вижу смысла. Это уже слишком на любителя  :ugeek:

Простой вопрос: есть у меня товар, скажем, /iphone-4s-blue-case.html, он не попал в индекс. Боты заходили на эту страницу? как давно, если заходили? Не нравится она им или просто не попали?

[pantagruel964]

А реальный пример есть? Если на страницу есть входящие ссылки - будет проиндексирована, будет ли добавлена в основной индекс зависит от того, что это - страница товара или мусор из названия и цены.

[chukcha]

https://opencartforum.com/files/file/3200-seo-bot-checker/

Не думаю что цена заооблачная.. даже для тестирования.. :)

[1nSane]

Что ж, модуль купил, предлагаю переехать с обсуждениями в его ветку: https://opencartforum.com/topic/61923-seo-bot-checker/

[Wild]

Сделал простейший вариант как описывал ТС.
Если интересно, то можете глянуть "Bots & Crawlers OnLine".
Отслеживаемые боты настраиваются в админке (подстрока из UserAgent).

Змінено 19 квітня 2017 користувачем Wild