Jump to content
Search In
  • More options...
Find results that contain...
Find results in...

Настройка и обновление парсера YaSe


 Share

Recommended Posts

Думаю, у многих есть проблемы с этим модулем. Давайте разбираться вместе)

Внимание! В первую очередь проверяйте не банит ли IP вашего магазина (не путать со своим IP) сайт-донор. Лучше сразу пробуйте договорится, потому что многие проблемы из-за этого.

Перед каждым запуском чистите системный кеш (обязательно) и кеш картинок (желательно). Сбоев из-за кеша vqmod'a я не заметил.

Если донор ограничивает доступ к сайту:

Т.е. банит только при большом количестве запросов. (Ниже способы, которые помогли мне, с другими донорами может быть иначе)

1. В настройках:

Максимальное количество категорий за один раз: 1

Максимальное количество товаров за один раз: 2 (если в категории больше 200 товаров, то "1")

2. Также не стоит "перенагружать" парсер.

Например:

В категории 500 товаров. Парсер категорий запускается раз в 5 минут, а парсер продуктов раз в 2 минуты и парсит 1 товар за раз. В итоге парсер товаров не успевает за парсером категорий - накапливаются задачи (одна задача - это один отсканированный товар, который нужно еще добавить). Заметил, что когда накопилось 270 задач, то товары практически перестали добавляться. Но т.к. в категории было 270 товаров, то задачи перестали добавляться и по мере того, как их становилось меньше, товары добавлялись все быстрей и быстрей.

3. Не парсятся товары, у которых много дополнительных изображений. Пока не выяснил точное число, но знаю, что 5 норм, а 8 уже никак.

Т.о. нужно в настройки парсера добавить возможность указывать количество дополнительных картинок (или хотя бы установить максимально "6"). Сейчас в парсере можно только отключить их.

Link to comment
Share on other sites


У меня самая большая проблема, это дублирование товара.При чём нашёл такую особенность,если удалить товар в парсере кнопкой" Удалить весь товар созданный парсером", то удаляется весь товар,кроме дублей. :ugeek: А эти самые дубли удалить можно только физически в категории Товар.

Некоторые категории категорически не хотят парсится,даже если прописать прямой путь до каждого товара.

Где ж найти гуру который взялся бы это поправить!?

ПС Кстати у меня спокойно парсятся категории с товаром у которого доп изображений и по 15 штук!

Link to comment
Share on other sites

Еще важный момент - проблемы появились сразу или сначала парсер работал нормально?

А то в первый день добавилось 500 товаров, а я потом неделю с парсером мучился, пока не понял, что IP забанили)

У меня дубли появились, когда в БД стал таблицы парсера ковырять. В частности, чистить таблицы с задачами и настройками парсера (товары не трогал совсем)

А дублируется весь или выборочно? Не меняется ли ID товаров, категорий? Таблицы парсера не трогал, бекап БД?

Некоторые категории категорически не хотят парсится,даже если прописать прямой путь до каждого товара.

Если не парсятся, то и прямой путь не поможет. Сравнивай товары которые парсятся и которые нет. В настройках по отключай доп. функции (атрибуты, seo и т.п.).

ПС Кстати у меня спокойно парсятся категории с товаром у которого доп изображений и по 15 штук!

я думаю, потому что донор банит.
Link to comment
Share on other sites


А мне кажется ,что все эти проблемы от того ,что парсер,а особенно его последняя версия был написан в спешке,а инструкции так и вообще писались на коленке на ходу.Нужен по любому человек который смог бы помочь с доделками по этим вопросам.Может быть в личку отправить сообщения с сылкой на эту тему?

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.