Модуль Автоматическая обработка прайс-листов. [Поддержка]

[Rassol2]

Только что, kunca сказал:

Доброго дня!

 

Подскажите, можно ли при загрузке прайса записывать для товара дополнительные категории (в прайсе указана основная категория товара и несколько дополнительных)? И если да, то где это делается?

да это возможно. Но ознакомитесь с инструкцией к модулю.
Это делается при помощи выбора переключателя.
 

Спойлер

 

[apanin]

On 4/13/2020 at 1:52 AM, zhumasds said:

 

Здравствуйте. Скажите, пожалуйста... Очень долго идет загрузка товаров на сайт. В прайсе около 7000 товаров. За полтора часа загрузилось около 1200 товаров. Загрузка картинок идет путем парсинга (в прайсе указаны ссылки на картинки на сайте поставщика, не больше 25 картинок к товару), все остальное грузится из прайса. Это нормально? Можно ли как-нибудь ускорить процесс загрузки? Установлена версия v8.9.4

[Rassol2]

1 минуту назад, apanin сказал:

Здравствуйте. Скажите, пожалуйста... Очень долго идет загрузка товаров на сайт. В прайсе около 7000 товаров. За полтора часа загрузилось около 1200 товаров. Загрузка картинок идет путем парсинга (в прайсе указаны ссылки на картинки на сайте поставщика, не больше 25 картинок к товару), все остальное грузится из прайса. Это нормально? Можно ли как-нибудь ускорить процесс загрузки? Установлена версия v8.9.4

это вполне нормально.
 

[Rassol2]

@apanin
В серднем 15 фото к товару.
1200 товаров это 18 000 запросов к сайт донору на скачивание фото. + если что то еше парсится.
каждое фото весит пусть в среднем 200кб это уже 18т запросов на скачивание и сохранение 200кб файла. + делаем записи в товар о каждом фото.

Полтора часа это 90минут 18000 фото в минуту получается 200 фото а в секунду 3+
и это мы говорим сейчас только о фото. Но по мимо этого делается сравнение есть ли такой товар и куча логики по заполнению товара.

[Denich12]

  4 часа назад, Denich12 сказал:

Доброй ночи!

В новом магазине использую версию 9.2 - не работает наценка на товар, подгружает только закупочную цену, в другом магазине в версии 8.8.2 все работает хорошо. У кого-то еще есть такая проблема? может в новой версии наценку как-то по особенному нужно ставить(наценку ставил, как в видео, пробовал разные варианты - не работает)?

 

Доброй ночи в обед. Неожиданно.
А вы уверены что настройку сделали одинаковую ?

 

.. смешно получилось:)

скрин наценки прилагается

[apanin]

24 minutes ago, Rassol2 said:

@apanin
В серднем 15 фото к товару.
1200 товаров это 18 000 запросов к сайт донору на скачивание фото. + если что то еше парсится.
каждое фото весит пусть в среднем 200кб это уже 18т запросов на скачивание и сохранение 200кб файла. + делаем записи в товар о каждом фото.

Полтора часа это 90минут 18000 фото в минуту получается 200 фото а в секунду 3+
и это мы говорим сейчас только о фото. Но по мимо этого делается сравнение есть ли такой товар и куча логики по заполнению товара.

Планировал следующую загрузку (обновление товара) таким образом:

После первой загрузки прайса, через какое-то время обнуляю весь товар этого поставщика (как нет в наличии).

Гружу свежий прайс, в котором добавлены новые товары (после поставки), а каких-то позиций уже нет в прайсе. - Действием Обновить и добавить.

Таким образом, получаю добавление новых товаров, и товаров, которых временно нет в прайсе, со статусом нет в наличии.

@Rassol2, скажите, а если я загружу прайс (видимо займет 6-7 часов), после этого, через какое-то время буду обновлять и добавлять товар, это займет такое же время?

Обновление товара, того, что уже есть в магазине (со статусом нет в наличии) будет заново парситься (займет такое же время) или он просто сменит статус "в наличии"?

Может мне на странице Общие в настройке поля Фото установить Только добавить, и при следующем обновлении и добавлении товара, по идее картинки товаров, которые были со статусом Нет в наличии, не должны обновляться (тоесть заново парситься), а будут добавляться картинки новых товаров?

[Rassol2]

49 минут назад, apanin сказал:

@Rassol2, скажите, а если я загружу прайс (видимо займет 6-7 часов), после этого, через какое-то время буду обновлять и добавлять товар, это займет такое же время?

нет.
Скажу аналогией. Что занимает больше времени Построить дом. Или починить окно ?

тут тоже самое нельзя сравнивать когда модуль создает товары и грузит все элементы с процессом где модуль только обновляет определенные данные.
Это гораздо проше и быстрее.
 

50 минут назад, apanin сказал:

Обновление товара, того, что уже есть в магазине (со статусом нет в наличии) будет заново парситься (займет такое же время) или он просто сменит статус "в наличии"?

Если товар есть на сайте. То он не будет повторно парсится. Он обновит то что уже есть, этот процесс быстрее.
 

51 минуту назад, apanin сказал:

Может мне на странице Общие в настройке поля Фото установить Только добавить, и при следующем обновлении и добавлении товара, по идее картинки товаров, которые были со статусом Нет в наличии, не должны обновляться (тоесть заново парситься), а будут добавляться картинки новых товаров?

не трожте этот переключать, он по умолчанию стоит верно.

При создании товара он загружает в него фото.
При обновлении он ничего не делает с фото, если вы не поменяете переключатель.
А зачем что то делать ? Я не думаю что ваш донор обновляет фото каждую неделю, и что для вас это критично.

[Rassol2]

@apanin а если у вас при обновлении все данные будут братся с прайса, так это вообще будет очень быстро.
Поскольку самые большие расходные по времени это сделать запрос на сайт донор, дождатся ответа. Разобрать что там пришло в ответе. И взять от туда что то.
а если в прайсе есть артикул, и цена и нужно обновить только цену модуль делает так.

Берет строку. Берет с нее артикул, и смотрит есть ли в магазине товар с таким артикулом. Если есть, берет с колонки цену и обновляет цену у товара который имет это артикул.

[Denich12]

Вопрос с наценкой решил - не стояла галочка в пункте "Учитывать маржу на категории:"

[shop12]

Здравствуйте. Подскажите из практики как лучше обновлять и добавлять товары в магазине НЕЗАМЕТНО для пользователей. Чтобы сайт не вис на время обновления и не выводил ненужную информацию.

 

Я подумал поставить копию сайта на локалку WebServer, обновлять и добавлять товары на нем, делать нужные правки и дальше переносить на основной сайт. 

Но не понимаю как перенести на основной сайт базу с товарами:

1. Как-то импортировать отдельные таблицы в базу MySQL на основном сайте + копировать фото нового товара в директорию сайта по FTP.

2. Обновлять товары на локалке. Делать локальным модулем Экспорт товара в ex.xml, копировать фото нового товара в директорию сайта по FTP, и импортировать модулем на основном сайте данные с таблицы  ex.xml.

3. Как-то еще.

 

Подскажите как это делать правильно. Если обновлять товары нужно несколько раз в день.

 

+ по крону врятли получиться, поскольку нужно выполнять ручную обработку прайса (к томуже если использовать крон, то так думаю, сайт тоже может виснуть во время обновления товара)

[Rassol2]

6 минут назад, shop12 сказал:

Здравствуйте. Подскажите из практики как лучше обновлять и добавлять товары в магазине НЕЗАМЕТНО для пользователей. Чтобы сайт не вис на время обновления и не выводил ненужную информацию.

частый вопрос.
Но сайт виснит не у всех в момент работы модуля. Он виснит только для вас.
Все из за веб технологии, браузер отправляет запрос на сайт и пока он не получит ответ браузер блокирует работу с сайтом. И вам кажется что ваш сайт висит.
Но если открыть его во втором браузере. Не во второй вкладке, не в отдельно окне того же браузера. И именно в ДРУГОМ браузере. То вы увидите что сайт прекрасно работает и обновление товаров через модуль АОП не влияет на использование сайта.
 

6 минут назад, shop12 сказал:

1. Как-то импортировать отдельные таблицы в базу MySQL на основном сайте + копировать фото нового товара в директорию сайта по FTP.

2. Обновлять товары на локалке. Делать локальным модулем Экспорт товара в ex.xml, копировать фото нового товара в директорию сайта по FTP, и импортировать модулем на основном сайте данные с таблицы  ex.xml.

Это хорошо при учете разового действия. Но на длинной дистанции такой подход может привести к проблемам. К примеру что бы вируть базу нужно удалить предыдущую. После удаления и до того как зальете пройдет время когда сайт будет виден с ошибкой. Да и в этом процессе может что то пойти не так и тогда вообше сайт придется перевести в режим обслуживания.

проверьте в другом браузере, как я описал если не виснит, значит проблема была в недопонимании процессов в вебе и все ваши исхишрения лишние.

[shop12]

2 минуты назад, Rassol2 сказал:

частый вопрос.
Но сайт виснит не у всех в момент работы модуля. Он виснит только для вас.
Все из за веб технологии, браузер отправляет запрос на сайт и пока он не получит ответ браузер блокирует работу с сайтом. И вам кажется что ваш сайт висит.
Но если открыть его во втором браузере. Не во второй вкладке, не в отдельно окне того же браузера. И именно в ДРУГОМ браузере. То вы увидите что сайт прекрасно работает и обновление товаров через модуль АОП не влияет на использование сайта.
 

Это хорошо при учете разового действия. Но на длинной дистанции такой подход может привести к проблемам. К примеру что бы вируть базу нужно удалить предыдущую. После удаления и до того как зальете пройдет время когда сайт будет виден с ошибкой. Да и в этом процессе может что то пойти не так и тогда вообше сайт придется перевести в режим обслуживания.

проверьте в другом браузере, как я описал если не виснит, значит проблема была в недопонимании процессов в вебе и все ваши исхишрения лишние.

 

Спасибо за ответ.  Попробую  

[Nikika]

Коллеги, такой вопрос.. Думаю он на поверхности, но искал поиском и не нашел. При импорте генерируются ЧПУ на кириллице, а как сделать на латинском?

[miguel]

Парни, кто в теме, помогите, пожалуйста. 

Через инструменты пытаюсь обнулить остаток по всем товарам поставщика - ничего не происходит.

Там же в инструментах пробовал установить всем товарам остаток, как в Поле 1 (в поле 1 ставил ноль) - все равно, никакой реакции.

в папке admin/uploads отчетов нет

 

я попробовал сделать экспорт по этому поставщику думал через импорт/экспорт проставить нулевой остаток, но выгрузилось всего 4 товара (хотя на сайте более 150 шт) и стоит отметить, что на эти 4 товара количество 0.

 

Почему могли открепиться товары от поставщика, хотя в аминке поставщик проставлен им?

[BF1138]

3 часа назад, shop12 сказал:

и не выводил ненужную информацию.

Если Вы про товары до правок, то добавляйте как выключенные, вносите правки потом включайте их показ на сайте.

[waswas]

В 23.04.2020 в 19:29, waswas сказал:

Супер, пока Вы тут и паритесь ))) это просто потрясающе. 

 

Как в атрибутах, задать параметр повторения тега? (на основной странице есть такой параметр а в атрибутах нет.

Если из них не таблицу нужно спарсить а только некий атрибут который повторяется третьим в тегах, и назначить его существующему.

Из примера наже, мне нужно в атрибут вытянуть "Крепления для профилей" и присвоить УЖЕ существующему атрибуту.

Не могу пайти параметр повторения... 

Гипсокартонные системы -вытягиваю... начало  парсинга temprop="title">   параметр temprop="title">,</

 

Как отдельно вытащить атрибут "Крепления для профилей"....

itemprop="title" - всего 3 на сайте.( Гипсокартонные системы - динамический текст, меняются у каждого товара...)

itemprop="title">Магазин стройматериалов</span></a></li><li
	itemscope itemtype="http://data-vocabulary.org/Breadcrumb">
	<a
	href="ссылка динамическая" itemprop="url">
	<span
	itemprop="title">Гипсокартонные системы</span></a></li><li
	itemscope itemtype="http://data-vocabulary.org/Breadcrumb">
	<a
	href="ссылка динамическая" itemprop="url">
	<span
	itemprop="title">Крепления для профилей</span></a></li><li
	itemscope itemtype="http://data-vocabulary.org/Breadcrumb">
	<span

При парсинге атрибутов, как указать параметр повторения? 

[artem77777]

всем привет! у меня есть два поставщика в прайсе которых около 50 000 наименований. загружать в ручную(обновлять цены) не реально долго......cron не тянет по ходу,так как пишет в отчете 0/5544 к примеру,хотя позиций более 50 000......может у кого есть какие идеи или опыт настройки автоматизации загрузки подобных xls. файлов?????? 

Змінено 27 квітня 2020 користувачем artem77777

[Flint2000]

@artem77777 установите паузу парсинга https://prnt.sc/s6zmkg

[artem77777]

1 час назад, Flint2000 сказал:

@artem77777 установите паузу парсинга https://prnt.sc/s6zmkg

почитал про эту функцию.....попробую......не не могли бы намекнуть где можно подробнее почитать про нее,,в инструкции не нашел,не исключаю что плохо читал.......со школы осталась привычка читать в книжке только первую и последнюю страницу)

Змінено 27 квітня 2020 користувачем artem77777

[artem77777]

2 часа назад, Flint2000 сказал:

@artem77777 установите паузу парсинга https://prnt.sc/s6zmkg

не помогло......все равно больше 5 000 позиций не проглатывает cron

[Rubynoid]

4 часа назад, artem77777 сказал:

всем привет! у меня есть два поставщика в прайсе которых около 50 000 наименований. загружать в ручную(обновлять цены) не реально долго......cron не тянет по ходу,так как пишет в отчете 0/5544 к примеру,хотя позиций более 50 000......может у кого есть какие идеи или опыт настройки автоматизации загрузки подобных xls. файлов?????? 

Если вы работаете с xls то может такое быть: пакет экселя очень жрущий.

Нужно уменьшить кол-во загружаемых строк прайса в память

Это в файле admin/model/catalog/suppler   в строке $chunkSize = 50;

поставьте меньше 50, к примеру 25 и попробуйте

[anycarlink]

Добрый день. Нужна небольшая помощь.

Есть прайс 100 товаров. Две колонки. Первая артикул, вторая цена.

из прайса на сайте добавлено 40 товаров. Как мне получить список товаров которые на сайт не добавлены?

Если воспользоваться функцией " Действие: Список новых товаров"

То у меня выдает только добавленный товар в папке admin/uploads.

 

[Flint2000]

7 годин назад, artem77777 сказав:

не помогло......все равно больше 5 000 позиций не проглатывает cron

 

В таком случае попробовать пересохранить в XML и скормить крону

[shop12]

19 часов назад, BF1138 сказал:

Если Вы про товары до правок, то добавляйте как выключенные, вносите правки потом включайте их показ на сайте.

 

Спасибо! Тоже интересная идея. Учту

[yurkin]

Доброго дня. 

У меня товар уже заведен в магазин модулем. Розничные цены спарсил с сайта.

Теперь мне нужно просто завести входную цену на товары в магазин.

Подскажите плиз - алгоритм как.