[Поддержка] SEO bot checker

[1nSane]

Та ну его по одному таскать :)

Попозже я могу его потаскать, по одному. Если нужен... только формат укажите ;)

[Tparts]

Нет конечно!!!

 

Открыл, поискал ссылки, отложил в очередь..

И когда там придет очередь неизвестно..

 

 

Не путайте ПС пауки с парсерами.

Кстати вот вам и идея по расширению функционала.

Добавьте возможность запрещать и разрешать парсить карточки.

[chukcha]

Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает?

Можно тогда встроить кнопочку "ping"  в данный модуль ;) и полезность его возрастет.

был бы спрос..

 

Но это тема отдельной разработки, сам давно не пользовался пингаторами, работает или нет - не знаю

Кроме того нужен список валидных пингаторов, который нужно проверять

Пингаторы должны быть " ручные"

[chukcha]

Попозже я могу его потаскать, по одному. Если нужен... только формат укажите ;)

формат простой, посмотрите в настройки-сервер-robots

Т.е. чистый шаблон - bot, .bot, yandex и т.д. И также закладку - список ботов

Разве что комментарий Можно сделать более продвинутым

[chukcha]

upd 11.06.2016
Редактирование ботов
Фильтр по ботам
Кнопки проверки страниц в индексе
посещенная страница представлена с протоколом

[1nSane]

Вот, с доменами уже лучше :) теперь я вижу, что Яша по секс-шопу бродит, а не его товары на других доменах :)

Только вот есть такой UA "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2736.0 Safari/537.36" - это кто? или теперь не только боты там светятся?

И не совсем понял где фильтр по ботам... хочется вменяемого "Google" и т.д. ;)

[chukcha]

ой! Да..

Побег исправлять...

[chukcha]

фикс

 

 

И не совсем понял где фильтр по ботам... хочется вменяемого "Google" и т.д.

 

 

фильтр в закладке списка ботов

 

Поясните что такое вменяемый "Google"

[1nSane]

Вкладка: список страниц, там вижу UA, скажем "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)" - а хотелось бы перед ним столбец, где коротко и ясно жирным шрифтом было сказано Yandex, чтобы я не искал глазами в UA ту самую приписку бота. Тем более что во вкладке список ботов им зачем-то имена можно давать, но не используются они...

 

Опять же на вкладке список страниц хотелось бы группировку по ботам, есть группа "Google", я ее открываю, а там:

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
и так далее...
 

[chukcha]

Тем более что во вкладке список ботов им зачем-то имена можно давать, но не используются они...

 

Это    просто уже заложено, но не сделано, вы же сами видели процесс :)

 

Но вы можете руками отфильтровать? Кнопка фильтр есть?

[chukcha]

Из купивших и установивших

У кого есть мультимагазин?

Ссылки верно отображаются?

 

Появился функционал проверки ссылки в robots.

Зачем? А вот для контроля - ходят ли роботы по "запрещенным ссылкам",

Или же.. зашел неизвестный робот, а закрыто только для G или Я

 

Появится со следующим релизом.

 

Вот как это выглядит

 

По идее при мультимагазине подтягивается robots.txt от магазина

Змінено 13 червня 2016 користувачем chukcha

[1nSane]

У меня "мультик":

по доменам все верно.

 

Про роботс.тхт не понял, ибо он же один на все магазины...

[chukcha]

Не... можно сделать разные robots

[chukcha]

Отчетик - кому надо?

[1nSane]

А можно попросить сменить хостинг для картинок? А то в Рашке он блокируется, пришлось через фригейт смотреть ;)

 

Вот это уже интересненько, а там даты можно будет выбирать для такой статистики?

[chukcha]

Если через недельку сбросите дамп

То можно буде поиграться уже реальными данными, с реальным объемом

 

На том который вы дали у меня получилось только за один день ( генерировать тестовый объем - лень)

 

А в вашем случае - можно статистику строить и по-магазинно

 

А не только по-роботно

 

Но!!! Это делается пока на энтузиазме, а через пару дней он помрет :)

[chukcha]

upd 28.06.2016

Добавлена кнопка отчета

Учитываются мултимагазины

Включена поддержка кириллический доменов

Ссылки  посещенные роботом при выводе проверяются на разрешение/запрет в robots

Некоторые косметические изменения

[jvz]

купил модуль

была проблема, чукча очень пытался помочь устранить, а проблема оказалась в хостинге

функционал модуля понравился

[bankir33]

Здравствуйте!

 

После установки мода ошибок ни каких не было, теперь после каждого захода "бота" появляется ошибка (Warning: preg_match(): in /var/www/admin/www/centermebel.com/admin/controller/module/bot_checker.php on line 185),

что она означает и как от нее избавится?

[chukcha]

Это полная ошибка?

[bankir33]

эта ошибка в админке, в логах так - 2016-07-07 17:29:27 - PHP Warning:  preg_match():  in /var/www/admin/www/***/admin/controller/module/bot_checker.php on line 185

Змінено 7 липня 2016 користувачем bankir33

[chukcha]

Скачайте измененную версию

И просто скопируйте файлы

 

Вы все равно не показали всю ошибку -: Unknown modifier

[chukcha]

Как такой отчет? По часовое посещение ботов

[bankir33]

после обновы та же ошибка, что и в посте #45 только на линии 183

[chukcha]

после обновы та же ошибка, что и в посте #45 только на линии 183

Спасибо еще раз - карма..