Настройка и обновление парсера YaSe

[ProfiSale]

Думаю, у многих есть проблемы с этим модулем. Давайте разбираться вместе)

Внимание! В первую очередь проверяйте не банит ли IP вашего магазина (не путать со своим IP) сайт-донор. Лучше сразу пробуйте договорится, потому что многие проблемы из-за этого.

Перед каждым запуском чистите системный кеш (обязательно) и кеш картинок (желательно). Сбоев из-за кеша vqmod'a я не заметил.

Если донор ограничивает доступ к сайту:

Т.е. банит только при большом количестве запросов. (Ниже способы, которые помогли мне, с другими донорами может быть иначе)

1. В настройках:

Максимальное количество категорий за один раз: 1

Максимальное количество товаров за один раз: 2 (если в категории больше 200 товаров, то "1")

2. Также не стоит "перенагружать" парсер.

Например:

В категории 500 товаров. Парсер категорий запускается раз в 5 минут, а парсер продуктов раз в 2 минуты и парсит 1 товар за раз. В итоге парсер товаров не успевает за парсером категорий - накапливаются задачи (одна задача - это один отсканированный товар, который нужно еще добавить). Заметил, что когда накопилось 270 задач, то товары практически перестали добавляться. Но т.к. в категории было 270 товаров, то задачи перестали добавляться и по мере того, как их становилось меньше, товары добавлялись все быстрей и быстрей.

3. Не парсятся товары, у которых много дополнительных изображений. Пока не выяснил точное число, но знаю, что 5 норм, а 8 уже никак.

Т.о. нужно в настройки парсера добавить возможность указывать количество дополнительных картинок (или хотя бы установить максимально "6"). Сейчас в парсере можно только отключить их.

[Tom]

У меня самая большая проблема, это дублирование товара.При чём нашёл такую особенность,если удалить товар в парсере кнопкой" Удалить весь товар созданный парсером", то удаляется весь товар,кроме дублей. :ugeek: А эти самые дубли удалить можно только физически в категории Товар.

Некоторые категории категорически не хотят парсится,даже если прописать прямой путь до каждого товара.

Где ж найти гуру который взялся бы это поправить!?

ПС Кстати у меня спокойно парсятся категории с товаром у которого доп изображений и по 15 штук!

[ProfiSale]

Еще важный момент - проблемы появились сразу или сначала парсер работал нормально?

А то в первый день добавилось 500 товаров, а я потом неделю с парсером мучился, пока не понял, что IP забанили)

У меня дубли появились, когда в БД стал таблицы парсера ковырять. В частности, чистить таблицы с задачами и настройками парсера (товары не трогал совсем)

А дублируется весь или выборочно? Не меняется ли ID товаров, категорий? Таблицы парсера не трогал, бекап БД?

Некоторые категории категорически не хотят парсится,даже если прописать прямой путь до каждого товара.

Если не парсятся, то и прямой путь не поможет. Сравнивай товары которые парсятся и которые нет. В настройках по отключай доп. функции (атрибуты, seo и т.п.).

ПС Кстати у меня спокойно парсятся категории с товаром у которого доп изображений и по 15 штук!

я думаю, потому что донор банит.

[Tom]

А мне кажется ,что все эти проблемы от того ,что парсер,а особенно его последняя версия был написан в спешке,а инструкции так и вообще писались на коленке на ходу.Нужен по любому человек который смог бы помочь с доделками по этим вопросам.Может быть в личку отправить сообщения с сылкой на эту тему?

[ProfiSale]

Этих доделок надо столько, что равносильно написанию новой инструкции, действительно, нужен знающий человек.