Перейти к содержанию
ProfiSale

Настройка и обновление парсера YaSe

Рекомендуемые сообщения

Думаю, у многих есть проблемы с этим модулем. Давайте разбираться вместе)

Внимание! В первую очередь проверяйте не банит ли IP вашего магазина (не путать со своим IP) сайт-донор. Лучше сразу пробуйте договорится, потому что многие проблемы из-за этого.

Перед каждым запуском чистите системный кеш (обязательно) и кеш картинок (желательно). Сбоев из-за кеша vqmod'a я не заметил.

Если донор ограничивает доступ к сайту:

Т.е. банит только при большом количестве запросов. (Ниже способы, которые помогли мне, с другими донорами может быть иначе)

1. В настройках:

Максимальное количество категорий за один раз: 1

Максимальное количество товаров за один раз: 2 (если в категории больше 200 товаров, то "1")

2. Также не стоит "перенагружать" парсер.

Например:

В категории 500 товаров. Парсер категорий запускается раз в 5 минут, а парсер продуктов раз в 2 минуты и парсит 1 товар за раз. В итоге парсер товаров не успевает за парсером категорий - накапливаются задачи (одна задача - это один отсканированный товар, который нужно еще добавить). Заметил, что когда накопилось 270 задач, то товары практически перестали добавляться. Но т.к. в категории было 270 товаров, то задачи перестали добавляться и по мере того, как их становилось меньше, товары добавлялись все быстрей и быстрей.

3. Не парсятся товары, у которых много дополнительных изображений. Пока не выяснил точное число, но знаю, что 5 норм, а 8 уже никак.

Т.о. нужно в настройки парсера добавить возможность указывать количество дополнительных картинок (или хотя бы установить максимально "6"). Сейчас в парсере можно только отключить их.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

У меня самая большая проблема, это дублирование товара.При чём нашёл такую особенность,если удалить товар в парсере кнопкой" Удалить весь товар созданный парсером", то удаляется весь товар,кроме дублей. :ugeek: А эти самые дубли удалить можно только физически в категории Товар.

Некоторые категории категорически не хотят парсится,даже если прописать прямой путь до каждого товара.

Где ж найти гуру который взялся бы это поправить!?

ПС Кстати у меня спокойно парсятся категории с товаром у которого доп изображений и по 15 штук!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Еще важный момент - проблемы появились сразу или сначала парсер работал нормально?

А то в первый день добавилось 500 товаров, а я потом неделю с парсером мучился, пока не понял, что IP забанили)

У меня дубли появились, когда в БД стал таблицы парсера ковырять. В частности, чистить таблицы с задачами и настройками парсера (товары не трогал совсем)

А дублируется весь или выборочно? Не меняется ли ID товаров, категорий? Таблицы парсера не трогал, бекап БД?

Некоторые категории категорически не хотят парсится,даже если прописать прямой путь до каждого товара.

Если не парсятся, то и прямой путь не поможет. Сравнивай товары которые парсятся и которые нет. В настройках по отключай доп. функции (атрибуты, seo и т.п.).

ПС Кстати у меня спокойно парсятся категории с товаром у которого доп изображений и по 15 штук!

я думаю, потому что донор банит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

А мне кажется ,что все эти проблемы от того ,что парсер,а особенно его последняя версия был написан в спешке,а инструкции так и вообще писались на коленке на ходу.Нужен по любому человек который смог бы помочь с доделками по этим вопросам.Может быть в личку отправить сообщения с сылкой на эту тему?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Этих доделок надо столько, что равносильно написанию новой инструкции, действительно, нужен знающий человек.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.