Jump to content
Sign in to follow this  
ProfiSale

Настройка и обновление парсера YaSe

Recommended Posts

Думаю, у многих есть проблемы с этим модулем. Давайте разбираться вместе)

Внимание! В первую очередь проверяйте не банит ли IP вашего магазина (не путать со своим IP) сайт-донор. Лучше сразу пробуйте договорится, потому что многие проблемы из-за этого.

Перед каждым запуском чистите системный кеш (обязательно) и кеш картинок (желательно). Сбоев из-за кеша vqmod'a я не заметил.

Если донор ограничивает доступ к сайту:

Т.е. банит только при большом количестве запросов. (Ниже способы, которые помогли мне, с другими донорами может быть иначе)

1. В настройках:

Максимальное количество категорий за один раз: 1

Максимальное количество товаров за один раз: 2 (если в категории больше 200 товаров, то "1")

2. Также не стоит "перенагружать" парсер.

Например:

В категории 500 товаров. Парсер категорий запускается раз в 5 минут, а парсер продуктов раз в 2 минуты и парсит 1 товар за раз. В итоге парсер товаров не успевает за парсером категорий - накапливаются задачи (одна задача - это один отсканированный товар, который нужно еще добавить). Заметил, что когда накопилось 270 задач, то товары практически перестали добавляться. Но т.к. в категории было 270 товаров, то задачи перестали добавляться и по мере того, как их становилось меньше, товары добавлялись все быстрей и быстрей.

3. Не парсятся товары, у которых много дополнительных изображений. Пока не выяснил точное число, но знаю, что 5 норм, а 8 уже никак.

Т.о. нужно в настройки парсера добавить возможность указывать количество дополнительных картинок (или хотя бы установить максимально "6"). Сейчас в парсере можно только отключить их.

Share this post


Link to post
Share on other sites

У меня самая большая проблема, это дублирование товара.При чём нашёл такую особенность,если удалить товар в парсере кнопкой" Удалить весь товар созданный парсером", то удаляется весь товар,кроме дублей. :ugeek: А эти самые дубли удалить можно только физически в категории Товар.

Некоторые категории категорически не хотят парсится,даже если прописать прямой путь до каждого товара.

Где ж найти гуру который взялся бы это поправить!?

ПС Кстати у меня спокойно парсятся категории с товаром у которого доп изображений и по 15 штук!

Share this post


Link to post
Share on other sites

Еще важный момент - проблемы появились сразу или сначала парсер работал нормально?

А то в первый день добавилось 500 товаров, а я потом неделю с парсером мучился, пока не понял, что IP забанили)

У меня дубли появились, когда в БД стал таблицы парсера ковырять. В частности, чистить таблицы с задачами и настройками парсера (товары не трогал совсем)

А дублируется весь или выборочно? Не меняется ли ID товаров, категорий? Таблицы парсера не трогал, бекап БД?

Некоторые категории категорически не хотят парсится,даже если прописать прямой путь до каждого товара.

Если не парсятся, то и прямой путь не поможет. Сравнивай товары которые парсятся и которые нет. В настройках по отключай доп. функции (атрибуты, seo и т.п.).

ПС Кстати у меня спокойно парсятся категории с товаром у которого доп изображений и по 15 штук!

я думаю, потому что донор банит.

Share this post


Link to post
Share on other sites

А мне кажется ,что все эти проблемы от того ,что парсер,а особенно его последняя версия был написан в спешке,а инструкции так и вообще писались на коленке на ходу.Нужен по любому человек который смог бы помочь с доделками по этим вопросам.Может быть в личку отправить сообщения с сылкой на эту тему?

Share this post


Link to post
Share on other sites

Этих доделок надо столько, что равносильно написанию новой инструкции, действительно, нужен знающий человек.

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.