chukcha Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 10 Завантажити / Придбати розширення SEO bot checker Модуль отслеживает активность ботов на сайте. Простое и удобное расширение, имеющее возможность добавлять любых ботов. Ведет архивную статистику с посещаемыми страницами и датами их посещения (в том числе IP-адреса). Полезен для анализа индексации сайта разными поисковыми системами, ботами проверки ссылок (типа Ahrefs) или анализа парсинга сайта злоумышленниками. Выслушаю любое мнение по улучшению и хотелкам. 1. Интересен последний заход робота 2. Интересна статистика заходов, частота посещения, количество страниц за время посещения, по времени.. 3. В том числе возможно отслеживание известных ботов парсинга и спамботов, которые можно прикрывать, но уже другими средствами. Demo нет, все на скрине. Полезен или бесполезен - решать вам.. Что умеем.. бот - страница - route - дата Т.е. юзерагент - посещенная страница - внутренне представление - дата посещения Зачем? Вы создали товар, вам нужно узнать - посетил ли страницу бот, и когда. Конечно, вы можете использовать парсеры http логов, и делать это чуть ли не ежедневно.. Или же пользовать отчеты от различных метрик Модуль дает возможность в любое время узнать о посещаемости ботами. Строить свои отчеты при определенном навыке. Можно увидеть какие боты посещают. айпи, и пострить частость, и время посещения. Например на одном из подопытных сайтов, было выяснено, что Г-бот очень редко ходит с 2-х до 4-х утра, а в рабочие часы чаще. Далее читать не обязательно - просто история развития Редактирование ботов Фильтр по ботам Кнопки проверки страниц в индексе посещенная страница представлена с протоколом Добавлена кнопка отчета Учитываются мултимагазины Включена поддержка кириллический доменов Добавлен отчет по частоте посещения роботами по часам.Добавлен функционал отладки - проверить правильно ли установлен Можно отключить проверку ссылок в роботс, если не нужно. добавлены отчеты-информация - количество ботов на странице, количество страниц, просмотренных ботом - при наведении на столбец Автор chukcha долучення 09.06.16 Категорія SEO, карта сайта, оптимизация Системные требования Метод активации Без активации Ioncube Loader Нет ocStore 3.02.3.0.2.42.3 OpenCart.Pro, ocShop Звернення до сервера розробника Нет Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... markimax Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Ух "ты", хороший девайс для админа Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 alexsoftdev :) Дело не в позициях, дело в отношении к сайту и, конечно же к позициям, но после анализаЖду результаты работы. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 А если пойти от обратного? И генерировать список непосещенных страниц? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 КАК? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Если есть список посещенных страниц. Получаем список всех страниц. Сравниваем. Выводим список страниц, по которым нет совпадений. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Вести лог посещений - более затратно, чем вести лог посещений бота Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. 1 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Это идея уже другого модуля - треккер маршрута заказа Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Вам виднее. Это было мнение по улучшению :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Ту такая штука обнаружилась "признаки" ботов брались из двух источников 1 - сам ОС 2 - сторонний На дубли не проверялись При установке они заносятся в таблицу Сделайте у себя следующий запрос DELETE me FROM oc_bot_name as me JOIN oc_bot_name as clone WHERE me.http = clone.http AND me.name = clone.name AND me.bot_name_id < clone.bot_name_id Тем самым удалив дубли и оставив только один экземпляр Все же 300 ботов лучше. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 вот кстати иллюстрация работы ботов при при открытом :( robots Это на демо сайте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. Я тут прикинул, что Не имеет значения.. Вы создали страницу, ждете робота Отследить фильтром ее посещение А вот если в этом списке появятся страницы с навигацией, сортировкой и прочими прелестями - то нужно бить тревогу!!! Так что нужен контроль именно робота! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Для тех кто пользуется! Обновитесь! В контроллере был "включен" режим отладки. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Итак, модуль приобрел. Вот некоторые идеи: 1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот. 2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом... 3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе. 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) Удивили.. Не ходит он как человек. 2) Если возможно, показывать страницу вместе с доменом. Да-да уже думал 3) Проверка индексации страниц - хорошая идея Не... только вручную, иначе под спам с вводом капчи Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Удивили.. Не ходит он как человек. Не... только вручную, иначе под спам с вводом капчи Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
markimax Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Ух "ты", хороший девайс для админа Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 alexsoftdev :) Дело не в позициях, дело в отношении к сайту и, конечно же к позициям, но после анализаЖду результаты работы. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 А если пойти от обратного? И генерировать список непосещенных страниц? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 КАК? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Если есть список посещенных страниц. Получаем список всех страниц. Сравниваем. Выводим список страниц, по которым нет совпадений. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Вести лог посещений - более затратно, чем вести лог посещений бота Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. 1 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Это идея уже другого модуля - треккер маршрута заказа Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Вам виднее. Это было мнение по улучшению :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Ту такая штука обнаружилась "признаки" ботов брались из двух источников 1 - сам ОС 2 - сторонний На дубли не проверялись При установке они заносятся в таблицу Сделайте у себя следующий запрос DELETE me FROM oc_bot_name as me JOIN oc_bot_name as clone WHERE me.http = clone.http AND me.name = clone.name AND me.bot_name_id < clone.bot_name_id Тем самым удалив дубли и оставив только один экземпляр Все же 300 ботов лучше. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 вот кстати иллюстрация работы ботов при при открытом :( robots Это на демо сайте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. Я тут прикинул, что Не имеет значения.. Вы создали страницу, ждете робота Отследить фильтром ее посещение А вот если в этом списке появятся страницы с навигацией, сортировкой и прочими прелестями - то нужно бить тревогу!!! Так что нужен контроль именно робота! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Для тех кто пользуется! Обновитесь! В контроллере был "включен" режим отладки. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Итак, модуль приобрел. Вот некоторые идеи: 1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот. 2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом... 3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе. 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) Удивили.. Не ходит он как человек. 2) Если возможно, показывать страницу вместе с доменом. Да-да уже думал 3) Проверка индексации страниц - хорошая идея Не... только вручную, иначе под спам с вводом капчи Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Удивили.. Не ходит он как человек. Не... только вручную, иначе под спам с вводом капчи Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 alexsoftdev :) Дело не в позициях, дело в отношении к сайту и, конечно же к позициям, но после анализаЖду результаты работы. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 А если пойти от обратного? И генерировать список непосещенных страниц? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 КАК? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Если есть список посещенных страниц. Получаем список всех страниц. Сравниваем. Выводим список страниц, по которым нет совпадений. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Вести лог посещений - более затратно, чем вести лог посещений бота Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. 1 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Это идея уже другого модуля - треккер маршрута заказа Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Вам виднее. Это было мнение по улучшению :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Ту такая штука обнаружилась "признаки" ботов брались из двух источников 1 - сам ОС 2 - сторонний На дубли не проверялись При установке они заносятся в таблицу Сделайте у себя следующий запрос DELETE me FROM oc_bot_name as me JOIN oc_bot_name as clone WHERE me.http = clone.http AND me.name = clone.name AND me.bot_name_id < clone.bot_name_id Тем самым удалив дубли и оставив только один экземпляр Все же 300 ботов лучше. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 вот кстати иллюстрация работы ботов при при открытом :( robots Это на демо сайте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. Я тут прикинул, что Не имеет значения.. Вы создали страницу, ждете робота Отследить фильтром ее посещение А вот если в этом списке появятся страницы с навигацией, сортировкой и прочими прелестями - то нужно бить тревогу!!! Так что нужен контроль именно робота! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Для тех кто пользуется! Обновитесь! В контроллере был "включен" режим отладки. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Итак, модуль приобрел. Вот некоторые идеи: 1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот. 2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом... 3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе. 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) Удивили.. Не ходит он как человек. 2) Если возможно, показывать страницу вместе с доменом. Да-да уже думал 3) Проверка индексации страниц - хорошая идея Не... только вручную, иначе под спам с вводом капчи Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Удивили.. Не ходит он как человек. Не... только вручную, иначе под спам с вводом капчи Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 А если пойти от обратного? И генерировать список непосещенных страниц? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 КАК? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Если есть список посещенных страниц. Получаем список всех страниц. Сравниваем. Выводим список страниц, по которым нет совпадений. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Вести лог посещений - более затратно, чем вести лог посещений бота Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. 1 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Это идея уже другого модуля - треккер маршрута заказа Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Вам виднее. Это было мнение по улучшению :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Ту такая штука обнаружилась "признаки" ботов брались из двух источников 1 - сам ОС 2 - сторонний На дубли не проверялись При установке они заносятся в таблицу Сделайте у себя следующий запрос DELETE me FROM oc_bot_name as me JOIN oc_bot_name as clone WHERE me.http = clone.http AND me.name = clone.name AND me.bot_name_id < clone.bot_name_id Тем самым удалив дубли и оставив только один экземпляр Все же 300 ботов лучше. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 вот кстати иллюстрация работы ботов при при открытом :( robots Это на демо сайте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. Я тут прикинул, что Не имеет значения.. Вы создали страницу, ждете робота Отследить фильтром ее посещение А вот если в этом списке появятся страницы с навигацией, сортировкой и прочими прелестями - то нужно бить тревогу!!! Так что нужен контроль именно робота! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Для тех кто пользуется! Обновитесь! В контроллере был "включен" режим отладки. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Итак, модуль приобрел. Вот некоторые идеи: 1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот. 2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом... 3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе. 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) Удивили.. Не ходит он как человек. 2) Если возможно, показывать страницу вместе с доменом. Да-да уже думал 3) Проверка индексации страниц - хорошая идея Не... только вручную, иначе под спам с вводом капчи Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Удивили.. Не ходит он как человек. Не... только вручную, иначе под спам с вводом капчи Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 КАК? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Если есть список посещенных страниц. Получаем список всех страниц. Сравниваем. Выводим список страниц, по которым нет совпадений. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Вести лог посещений - более затратно, чем вести лог посещений бота Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. 1 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Это идея уже другого модуля - треккер маршрута заказа Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Вам виднее. Это было мнение по улучшению :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Ту такая штука обнаружилась "признаки" ботов брались из двух источников 1 - сам ОС 2 - сторонний На дубли не проверялись При установке они заносятся в таблицу Сделайте у себя следующий запрос DELETE me FROM oc_bot_name as me JOIN oc_bot_name as clone WHERE me.http = clone.http AND me.name = clone.name AND me.bot_name_id < clone.bot_name_id Тем самым удалив дубли и оставив только один экземпляр Все же 300 ботов лучше. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 вот кстати иллюстрация работы ботов при при открытом :( robots Это на демо сайте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. Я тут прикинул, что Не имеет значения.. Вы создали страницу, ждете робота Отследить фильтром ее посещение А вот если в этом списке появятся страницы с навигацией, сортировкой и прочими прелестями - то нужно бить тревогу!!! Так что нужен контроль именно робота! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Для тех кто пользуется! Обновитесь! В контроллере был "включен" режим отладки. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Итак, модуль приобрел. Вот некоторые идеи: 1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот. 2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом... 3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе. 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) Удивили.. Не ходит он как человек. 2) Если возможно, показывать страницу вместе с доменом. Да-да уже думал 3) Проверка индексации страниц - хорошая идея Не... только вручную, иначе под спам с вводом капчи Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Удивили.. Не ходит он как человек. Не... только вручную, иначе под спам с вводом капчи Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Если есть список посещенных страниц. Получаем список всех страниц. Сравниваем. Выводим список страниц, по которым нет совпадений. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Вести лог посещений - более затратно, чем вести лог посещений бота Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. 1 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Это идея уже другого модуля - треккер маршрута заказа Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Вам виднее. Это было мнение по улучшению :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Ту такая штука обнаружилась "признаки" ботов брались из двух источников 1 - сам ОС 2 - сторонний На дубли не проверялись При установке они заносятся в таблицу Сделайте у себя следующий запрос DELETE me FROM oc_bot_name as me JOIN oc_bot_name as clone WHERE me.http = clone.http AND me.name = clone.name AND me.bot_name_id < clone.bot_name_id Тем самым удалив дубли и оставив только один экземпляр Все же 300 ботов лучше. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 вот кстати иллюстрация работы ботов при при открытом :( robots Это на демо сайте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. Я тут прикинул, что Не имеет значения.. Вы создали страницу, ждете робота Отследить фильтром ее посещение А вот если в этом списке появятся страницы с навигацией, сортировкой и прочими прелестями - то нужно бить тревогу!!! Так что нужен контроль именно робота! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Для тех кто пользуется! Обновитесь! В контроллере был "включен" режим отладки. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Итак, модуль приобрел. Вот некоторые идеи: 1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот. 2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом... 3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе. 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) Удивили.. Не ходит он как человек. 2) Если возможно, показывать страницу вместе с доменом. Да-да уже думал 3) Проверка индексации страниц - хорошая идея Не... только вручную, иначе под спам с вводом капчи Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Удивили.. Не ходит он как человек. Не... только вручную, иначе под спам с вводом капчи Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Вести лог посещений - более затратно, чем вести лог посещений бота Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. 1 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Это идея уже другого модуля - треккер маршрута заказа Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Вам виднее. Это было мнение по улучшению :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Ту такая штука обнаружилась "признаки" ботов брались из двух источников 1 - сам ОС 2 - сторонний На дубли не проверялись При установке они заносятся в таблицу Сделайте у себя следующий запрос DELETE me FROM oc_bot_name as me JOIN oc_bot_name as clone WHERE me.http = clone.http AND me.name = clone.name AND me.bot_name_id < clone.bot_name_id Тем самым удалив дубли и оставив только один экземпляр Все же 300 ботов лучше. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 вот кстати иллюстрация работы ботов при при открытом :( robots Это на демо сайте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. Я тут прикинул, что Не имеет значения.. Вы создали страницу, ждете робота Отследить фильтром ее посещение А вот если в этом списке появятся страницы с навигацией, сортировкой и прочими прелестями - то нужно бить тревогу!!! Так что нужен контроль именно робота! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Для тех кто пользуется! Обновитесь! В контроллере был "включен" режим отладки. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Итак, модуль приобрел. Вот некоторые идеи: 1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот. 2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом... 3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе. 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) Удивили.. Не ходит он как человек. 2) Если возможно, показывать страницу вместе с доменом. Да-да уже думал 3) Проверка индексации страниц - хорошая идея Не... только вручную, иначе под спам с вводом капчи Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Удивили.. Не ходит он как человек. Не... только вручную, иначе под спам с вводом капчи Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. 1 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Это идея уже другого модуля - треккер маршрута заказа Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Вам виднее. Это было мнение по улучшению :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Ту такая штука обнаружилась "признаки" ботов брались из двух источников 1 - сам ОС 2 - сторонний На дубли не проверялись При установке они заносятся в таблицу Сделайте у себя следующий запрос DELETE me FROM oc_bot_name as me JOIN oc_bot_name as clone WHERE me.http = clone.http AND me.name = clone.name AND me.bot_name_id < clone.bot_name_id Тем самым удалив дубли и оставив только один экземпляр Все же 300 ботов лучше. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 вот кстати иллюстрация работы ботов при при открытом :( robots Это на демо сайте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. Я тут прикинул, что Не имеет значения.. Вы создали страницу, ждете робота Отследить фильтром ее посещение А вот если в этом списке появятся страницы с навигацией, сортировкой и прочими прелестями - то нужно бить тревогу!!! Так что нужен контроль именно робота! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Для тех кто пользуется! Обновитесь! В контроллере был "включен" режим отладки. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Итак, модуль приобрел. Вот некоторые идеи: 1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот. 2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом... 3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе. 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) Удивили.. Не ходит он как человек. 2) Если возможно, показывать страницу вместе с доменом. Да-да уже думал 3) Проверка индексации страниц - хорошая идея Не... только вручную, иначе под спам с вводом капчи Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Удивили.. Не ходит он как человек. Не... только вручную, иначе под спам с вводом капчи Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Это идея уже другого модуля - треккер маршрута заказа Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Вам виднее. Это было мнение по улучшению :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Ту такая штука обнаружилась "признаки" ботов брались из двух источников 1 - сам ОС 2 - сторонний На дубли не проверялись При установке они заносятся в таблицу Сделайте у себя следующий запрос DELETE me FROM oc_bot_name as me JOIN oc_bot_name as clone WHERE me.http = clone.http AND me.name = clone.name AND me.bot_name_id < clone.bot_name_id Тем самым удалив дубли и оставив только один экземпляр Все же 300 ботов лучше. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 вот кстати иллюстрация работы ботов при при открытом :( robots Это на демо сайте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. Я тут прикинул, что Не имеет значения.. Вы создали страницу, ждете робота Отследить фильтром ее посещение А вот если в этом списке появятся страницы с навигацией, сортировкой и прочими прелестями - то нужно бить тревогу!!! Так что нужен контроль именно робота! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Для тех кто пользуется! Обновитесь! В контроллере был "включен" режим отладки. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Итак, модуль приобрел. Вот некоторые идеи: 1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот. 2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом... 3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе. 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) Удивили.. Не ходит он как человек. 2) Если возможно, показывать страницу вместе с доменом. Да-да уже думал 3) Проверка индексации страниц - хорошая идея Не... только вручную, иначе под спам с вводом капчи Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Удивили.. Не ходит он как человек. Не... только вручную, иначе под спам с вводом капчи Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
pantagruel964 Опубликовано: 9 июня 2016 Поделиться Опубликовано: 9 июня 2016 Вам виднее. Это было мнение по улучшению :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Ту такая штука обнаружилась "признаки" ботов брались из двух источников 1 - сам ОС 2 - сторонний На дубли не проверялись При установке они заносятся в таблицу Сделайте у себя следующий запрос DELETE me FROM oc_bot_name as me JOIN oc_bot_name as clone WHERE me.http = clone.http AND me.name = clone.name AND me.bot_name_id < clone.bot_name_id Тем самым удалив дубли и оставив только один экземпляр Все же 300 ботов лучше. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 вот кстати иллюстрация работы ботов при при открытом :( robots Это на демо сайте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. Я тут прикинул, что Не имеет значения.. Вы создали страницу, ждете робота Отследить фильтром ее посещение А вот если в этом списке появятся страницы с навигацией, сортировкой и прочими прелестями - то нужно бить тревогу!!! Так что нужен контроль именно робота! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Для тех кто пользуется! Обновитесь! В контроллере был "включен" режим отладки. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Итак, модуль приобрел. Вот некоторые идеи: 1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот. 2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом... 3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе. 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) Удивили.. Не ходит он как человек. 2) Если возможно, показывать страницу вместе с доменом. Да-да уже думал 3) Проверка индексации страниц - хорошая идея Не... только вручную, иначе под спам с вводом капчи Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Удивили.. Не ходит он как человек. Не... только вручную, иначе под спам с вводом капчи Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Ту такая штука обнаружилась "признаки" ботов брались из двух источников 1 - сам ОС 2 - сторонний На дубли не проверялись При установке они заносятся в таблицу Сделайте у себя следующий запрос DELETE me FROM oc_bot_name as me JOIN oc_bot_name as clone WHERE me.http = clone.http AND me.name = clone.name AND me.bot_name_id < clone.bot_name_id Тем самым удалив дубли и оставив только один экземпляр Все же 300 ботов лучше. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 вот кстати иллюстрация работы ботов при при открытом :( robots Это на демо сайте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. Я тут прикинул, что Не имеет значения.. Вы создали страницу, ждете робота Отследить фильтром ее посещение А вот если в этом списке появятся страницы с навигацией, сортировкой и прочими прелестями - то нужно бить тревогу!!! Так что нужен контроль именно робота! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Для тех кто пользуется! Обновитесь! В контроллере был "включен" режим отладки. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Итак, модуль приобрел. Вот некоторые идеи: 1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот. 2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом... 3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе. 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) Удивили.. Не ходит он как человек. 2) Если возможно, показывать страницу вместе с доменом. Да-да уже думал 3) Проверка индексации страниц - хорошая идея Не... только вручную, иначе под спам с вводом капчи Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Удивили.. Не ходит он как человек. Не... только вручную, иначе под спам с вводом капчи Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 вот кстати иллюстрация работы ботов при при открытом :( robots Это на демо сайте. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. Я тут прикинул, что Не имеет значения.. Вы создали страницу, ждете робота Отследить фильтром ее посещение А вот если в этом списке появятся страницы с навигацией, сортировкой и прочими прелестями - то нужно бить тревогу!!! Так что нужен контроль именно робота! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Для тех кто пользуется! Обновитесь! В контроллере был "включен" режим отладки. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Итак, модуль приобрел. Вот некоторые идеи: 1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот. 2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом... 3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе. 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) Удивили.. Не ходит он как человек. 2) Если возможно, показывать страницу вместе с доменом. Да-да уже думал 3) Проверка индексации страниц - хорошая идея Не... только вручную, иначе под спам с вводом капчи Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Удивили.. Не ходит он как человек. Не... только вручную, иначе под спам с вводом капчи Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
chukcha Опубликовано: 9 июня 2016 Автор Поделиться Опубликовано: 9 июня 2016 Согласен. Но при таком подходе вижу практическую пользу. Страницы из такого отстойника можно проанализировать и если бот на них забил - затвитить, залайкать, расшарить и ждать гостей. Благо, лайки и твиты по рублю стоят. Я тут прикинул, что Не имеет значения.. Вы создали страницу, ждете робота Отследить фильтром ее посещение А вот если в этом списке появятся страницы с навигацией, сортировкой и прочими прелестями - то нужно бить тревогу!!! Так что нужен контроль именно робота! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Для тех кто пользуется! Обновитесь! В контроллере был "включен" режим отладки. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Итак, модуль приобрел. Вот некоторые идеи: 1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот. 2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом... 3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе. 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) Удивили.. Не ходит он как человек. 2) Если возможно, показывать страницу вместе с доменом. Да-да уже думал 3) Проверка индексации страниц - хорошая идея Не... только вручную, иначе под спам с вводом капчи Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Удивили.. Не ходит он как человек. Не... только вручную, иначе под спам с вводом капчи Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Для тех кто пользуется! Обновитесь! В контроллере был "включен" режим отладки. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Итак, модуль приобрел. Вот некоторые идеи: 1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот. 2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом... 3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе. 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) Удивили.. Не ходит он как человек. 2) Если возможно, показывать страницу вместе с доменом. Да-да уже думал 3) Проверка индексации страниц - хорошая идея Не... только вручную, иначе под спам с вводом капчи Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Удивили.. Не ходит он как человек. Не... только вручную, иначе под спам с вводом капчи Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... pantagruel964 Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Итак, модуль приобрел. Вот некоторые идеи: 1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот. 2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом... 3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе. 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) Удивили.. Не ходит он как человек. 2) Если возможно, показывать страницу вместе с доменом. Да-да уже думал 3) Проверка индексации страниц - хорошая идея Не... только вручную, иначе под спам с вводом капчи Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Удивили.. Не ходит он как человек. Не... только вручную, иначе под спам с вводом капчи Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
pantagruel964 Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Как вам идея? Возле каждой посещенной страницы сделать кнопочку - проверить в индексе? Короче я понял - нужен модуль, генерирующий список страниц с проверкой их индексации через XML Яндекса.. или капчу :-) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Итак, модуль приобрел. Вот некоторые идеи: 1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот. 2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом... 3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе. 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) Удивили.. Не ходит он как человек. 2) Если возможно, показывать страницу вместе с доменом. Да-да уже думал 3) Проверка индексации страниц - хорошая идея Не... только вручную, иначе под спам с вводом капчи Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Удивили.. Не ходит он как человек. Не... только вручную, иначе под спам с вводом капчи Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Итак, модуль приобрел. Вот некоторые идеи: 1) Сделать группировку по ботам: Google, Yandex и т.д., сейчас у меня на сайте Гугл смотрит 5 страниц, с разными UA, под мобильной версией и т.д. И так будет проще их смотреть, а не выискивать в UA какой же это бот. 2) Если возможно, показывать страницу вместе с доменом. У меня мультимагазин, один из них - товары для взрослых, соответственно, вход только 18+, сейчас я вижу, что бот открыл страницу одного из таких товаров, мне надо убедиться, что с правильного домена, а то могут быть неприятные моменты потом... 3) Проверка индексации страниц - хорошая идея, главное чтобы модуль запоминал результат проверки, а не каждые 3 дня я одно и то же проверять пытался. Пусть будет какой-то зеленый значок, если страница в индексе. 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) https://www.phpbb.com/community/viewtopic.php?t=935605 - хороший список ботов Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) Удивили.. Не ходит он как человек. 2) Если возможно, показывать страницу вместе с доменом. Да-да уже думал 3) Проверка индексации страниц - хорошая идея Не... только вручную, иначе под спам с вводом капчи Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Удивили.. Не ходит он как человек. Не... только вручную, иначе под спам с вводом капчи Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 4) Если возможно, вести именно всю цепочку хождения бота. Допустим, у меня на странице 20 внутренних ссылок вышло, а он пошел по трем - чтобы я мог понять почему (но не уверен что такое реально) Удивили.. Не ходит он как человек. 2) Если возможно, показывать страницу вместе с доменом. Да-да уже думал 3) Проверка индексации страниц - хорошая идея Не... только вручную, иначе под спам с вводом капчи Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Удивили.. Не ходит он как человек. Не... только вручную, иначе под спам с вводом капчи Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Удивили.. Не ходит он как человек. Не... только вручную, иначе под спам с вводом капчи Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Вручную или нет - не важно. Нажал я кнопку, проверилось, запомнилось. Или предлагаете просто ссылку на поисковик, где я глазами буду смотреть, есть или нет? Тогда хотя бы нужна возможность ручками отмечать, что эта страница попала в список. Чтобы повторно не проверять одно и то же. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Т.е. он работает не так, как другие пауки: открыл page1, увидел 20 ссылок, пошел их открывать? Мой собственный парсер так и работал... потихоньку заполняя себе очередь страниц на посещение. Нет конечно!!! Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно.. Не путайте ПС пауки с парсерами. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Тут много развития надо и есть куда смотреть Можно Сгенерированную карту сайта проверять с посещенными страницами.. Т.е. грузить карту в базу, и уже в базе отмечать, последнюю дату посещения Или самостоятельно генерировать Можно и, наверное нужно, кроме полной очистки логовпериодически чистить по времени, например удалять записи старше 1-го месяца (сделать это в настройках) Т.е. развиваться есть куда.. Был бы спрос.. Пока вижу только двоих :) - себя не считаю Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Могу попробовать выступить в роли маркетолога ;) попробуем продвинуть идею. ИМХО будет полезно, если придумаем механизм помогающий с вот этим: "Открыл, поискал ссылки, отложил в очередь.. И когда там придет очередь неизвестно..", даже не надо автоматизировать, если будет отчет грамотный и просто варианты решения проблемы - народ подтянется. Сформулирую проблему проще: "ускорить и дополнить индексацию". Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha
chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 Если придумаем механизм помогающий с вот этим: пингаторы! Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Поддержка и ответы на вопросы Модули и дополнения SEO, карта сайта, оптимизация [Поддержка] SEO bot checker
1nSane Опубликовано: 10 июня 2016 Поделиться Опубликовано: 10 июня 2016 Для WordPress знаю, видел, использовал. Для ОС есть такие? Эта тема еще работает? Можно тогда встроить кнопочку "ping" в данный модуль ;) и полезность его возрастет. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0 Перейти к списку тем Похожие публикации SEO bot checker Автор: chukcha, 8 июня 2016 seo отслеживание ботов bot check 0 комментариев 7 486 просмотров chukcha 8 июня 2016 Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу.
chukcha Опубликовано: 10 июня 2016 Автор Поделиться Опубликовано: 10 июня 2016 https://www.phpbb.co...ic.php?t=935605 - хороший список ботов Та ну его по одному таскать :) Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Назад 1 2 3 Вперёд Страница 1 из 3 Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 0
Рекомендованные сообщения