Модуль Автоматическая обработка прайс-листов. [Поддержка]

[Flint2000]

9 хвилин назад, Sharapov317 сказав:

4 При обновлении большого прайс листа (30 0000 позиций) модуль не справляется. Обработка за 30 сек проходит всего 150 товаров (за 2 часа нажатия кнопок Обновить-Продолжить обновил почти 9 000 товаров, но это уже не Автоматическая обработка).

А чем вам крон не угодил?

[Sharapov317]

4 минуты назад, Flint2000 сказал:

А чем вам крон не угодил?

Крон пробовал на другом хостинге и не совсем разобрался как он работает.

Вы хотите сказать что через крон мне не нужно нажимать обновить?
Можете чуть подробнее)

Змінено 12 листопада 2019 користувачем Sharapov317

[zhumasds]

8 минут назад, Sharapov317 сказал:

Крон пробовал на другом хостинге и не совсем разобрался как он работает.

Вы хотите сказать что через крон мне не нужно нажимать обновить?
Можете чуть подробнее)

да, через крон ничего нажимать не нужно)

разобраться с кроном - очень важно, потому что облегчает работу с прайсами В ПРИНЦИПЕ) (говорю Вам как человек, оставивший в этой теме с десяток вопросов по крону).

 

Нужно настроить 2 вещи:

 

1. Крон в профиле поставщика

2. Крон на хостинге

 

Подробнее:

1. Крон в профиле поставщика

Спойлер

а) Нужно его включить

б) В графе "Старт" - везде звездочки.

в) Предварительные задания можно как поставить, так и проигнорировать.

г) Основное задание: в поле адрес нужно вписать ссылку (если скачивание прайс листа происходит по ссылке). В противном случае прайс загружается ручками в admin/uploads под соответствующей цифрой. Дальше рассматриваем ситуацию, где прайс загружается ручками.

д) Загрузили прайс ручками в формате 9.xml, в кроне поставщика обязательно выставляем формат прайса на "xml..." соответственно.

е) Финальные задания можно игнорировать.

 

* Обычно предварительные и финальные задания игнорируются в случае, когда идет простое добавление товаров.

** Профиль поставщика должен быть настроен на работу (прописаны колонки, категории и прочие моменты). В качестве действия при кроне я выбираю "только добавлять" (но можно и другие действия выставлять.

 

2. Крон на хостинге

 

а) В первую очередь, нужно вбить в поиске запрос "крон beget.ru" (условно). По этому запросу, скорее всего, Вы сможете ознакомиться с инструкцией по работе с кроном непосредственно у Вашего хостинг провайдера.

б) Запустить крон с определённой периодичностью (например, я запускаю добавление товаров не по расписанию, а прямым вызовом через крон, благо, хостер позволяет так делать).

 

3. Ошибки

 

а) Одна единственная проблема, с которой я сталкивался, это неправильные настройки крон в профиле поставщика (не указывал формат прайса) и, как следствие, ограничение в cron.php в виде переменной period, которая не позволяет запускаться профилю в течении 4 часов после предыдущего успешного запуска. Обычно (только когда добавляю товар, НЕ ПРИ ОБНОВЛЕНИИ) я выставлю переменной $period значение 1, что позволяет каждую минуту запускаться по крону (обычно, первые 2-3 запуска - это ошибки и их исправление).

[Deveron]

Здравствуйте, можно ли из прайса выборочно загружать товары только те которые мне нужны? В прайсе огромное множество товаров (200мб), но мне нужны не все товары.

[Sultunar]

11 часов назад, Rassol2 сказал:

даже не слышал о таком.
Это нужно проверять в чем причина. Смотреть адрес фото, что в фтп лежит, что в базе данных записано.

Если на вскидку я такое не встречал.

в БД ссылки на фото товаров есть, но вот физически фото уже нет...

Сейчас отключил везде Крон, загрузил в один товар фото и снова включил Крон. Посмотрю что произойдет.

[Rassol2]

25 минут назад, Deveron сказал:

Здравствуйте, можно ли из прайса выборочно загружать товары только те которые мне нужны? В прайсе огромное множество товаров (200мб), но мне нужны не все товары.

Конечно можно.
Для этого удаляете из прайса те что не нужно.

[Deveron]

14 минут назад, Rassol2 сказал:

Конечно можно.
Для этого удаляете из прайса те что не нужно.

Файл тяжёлый, каждый раз отбирать только нужные товары проблематично, да и обновление прайса каждый день. И если ещё нужно обновлять кроном по ссылке поставщика, там общий прайс.

 

[Rassol2]

1 минуту назад, Deveron сказал:

Файл тяжёлый, каждый раз отбирать только нужные товары проблематично, да и обновление прайса каждый день. И если ещё нужно обновлять кроном по ссылке поставщика, там общий прайс.

 

Если открыть прайс и удалить строку с товаром это проблематичный вариант. Тогда все другие будут еше сложнее.
Нет такой возможности нету.

[Flint2000]

4 хвилини назад, Deveron сказав:

Файл тяжёлый, каждый раз отбирать только нужные товары проблематично, да и обновление прайса каждый день.

Вы что, каждый день новые товары на сайт добавляете?

[Deveron]

@Rassol2 @Flint2000

Интересно, это точно модуль Автоматическая обработка прайс листов? 

 

Каждый день количество необходимо обновлять, потому что оно быстро меняется.

Вот кейс, прайсы по 100тысяч товаров из которого нужны определенные товары и чтобы в дальнейшем информация обновлялась только по определенным. Новые необходимые товары отбирать самостоятельно.

 

YML файл http://www.v3toys.ru­/api-prods.yml

CSV файл http://www.v3toys.ru­/sks/public-data/gen­eration/goods.csv

 

Также фото в 9 колонке представлены так:

9. URL адрес всех ка­ртинок для товара (р­азделителем между из­ображениями является ",")

 

[Rassol2]

11 минут назад, Deveron сказал:

Интересно, это точно модуль Автоматическая обработка прайс листов?

Да.
 

11 минут назад, Deveron сказал:

Каждый день количество необходимо обновлять, потому что оно быстро меняется.

Вот кейс, прайсы по 100тысяч товаров из которого нужны определенные товары и чтобы в дальнейшем информация обновлялась только по определенным. Новые необходимые товары отбирать самостоятельно.

Не сочтите за грубость, но давайте подумаем логически.

Какое решение вас устроило бы ? Если удаление из прайса это не ваш вариант.
Для того что бы определить какой товар нужен какой нет. Его нужно как то поменять, для этого нужно зайти в прайс. Затем нужно как то модулю указать что брать только строки из прайса которые помечены.
Это как минимум 2 действия.

А вот если зайти и удалить ненужное это одно действие.

И вот теперь у меня к вам вопрос на логику, как вы видите функцию через которую задавать модулю какие товары грузить а какие нет ? Учитывая то что модуль будет брать сам ссылку и вы как оператор, никогда не знаете что придет завтра.
Очень хочется услышать ваш ответ.

PS. Если использовать автоматически через крон только обновление. Тогда модуль будет обновлять все товары артикул которых совпадает в прайсе и в магазине.
А добавлять новый товар вручную, это частично решает ваше задание.

Но все же ответ на мой вопрос выше хотел бы услышать. Мне просто интересно как вы видите эту реализацию.
 

[Flint2000]

9 хвилин назад, Deveron сказав:

чтобы в дальнейшем информация обновлялась только по определенным

Если бы вы разобрались с работой модуля, почитали мануалы и посмотрели видео, то не задавали бы таких глупых вопросов. Так как знать элементарные вещи нужно всем, а разработчик чуть ли не в каждом видео говорит, что ключевой идентификацией товара является его код (артикул). Поэтому в вашем случае будут обновляться только те товары, которые уже есть в магазине

[Sharapov317]

Благодарю за подробный ответ @zhumasds!

 

Как делаю.
Создал форму поставщика и настроил ее.
Действие только обновление.
Все ок. Сработало как надо (обновились цены и остатки товаров на сайте).
Теперь закидываю прайс с номером (1.xlsx) в папку admin/uploads (в прайсе специально оставил только 1 товар)
На хостинге (у Меня Ukraine) прописываю путь к этому файлу и время */5 * * * * каждые 5 минут
В форме поставщика на закладке cron включаю Крон и в Старт * * * * * каждую минуту
В поле Основное задание указываю только формат прайса xlsx
Жду)
Задание выполнено в 14-05, хотя было 12-00 (изменил GMT с +2 на +0)
Но изменений на сайте нет (в этом 1-ом товаре я предварительно изменил цену и остаток)

 

Что не так?

Ну и попутно вопросики)
Если наступает тайм лимит, то что запустит продолжение: ежеминутная настройка в форме поставщика или задание на хостинге?

Я просто не "догоняю" этого( Зачем две настройки?
Если оставить все как есть, то мой прайс по идее будет бесконечно обновляться каждые 4 часа (согласно cron.php)

[Rassol2]

2 минуты назад, Sharapov317 сказал:

Что не так?

При настройке крона на хостинге, путь нужно указывать не к файлу admin/uploads/1.xlsx
А к файлу крона /admin/cron.php если вы его не переименовали.
И тогда крон будет запускать модуль.

[Deveron]

8 минут назад, Flint2000 сказал:

Если бы вы разобрались с работой модуля, почитали мануалы и посмотрели видео, то не задавали бы таких глупых вопросов. Так как знать элементарные вещи нужно всем, а разработчик чуть ли не в каждом видео говорит, что ключевой идентификацией товара является его код (артикул). Поэтому в вашем случае будут обновляться только те товары, которые уже есть в магазине

Вас никто не заставляет отвечать на глупые вопросы и не нужно проявлять своё высокомерие к новым пользователям. Вы на водителей с буквой У кричите?

Читаю инструкции, смотрю видео по порядку, задаю вопросы на форуме-процесс обучения идёт.

Хотел написать в первом сообщении вариант решения:

"Тогда может реализовать такое решение например сначала загрузить в магазин только те товары, которые нужны, а потом только выбирать обновление модулем всех параметров?"

Но решил уточнить у гуру, спасибо за тёплый приём, надеюсь это не происки конкурентов других модулей

@usergio также вопрос с фото 9колонка URL адрес всех ка­ртинок для товара (р­азделителем между из­ображениями является ",")

решается только предварительным редактированием путем разнесения ссылок на разные колонки?

 

[Sharapov317]

19 минут назад, Rassol2 сказал:

При настройке крона на хостинге, путь нужно указывать не к файлу admin/uploads/1.xlsx
А к файлу крона /admin/cron.php если вы его не переименовали.
И тогда крон будет запускать модуль.

Путь к файлу крона и прописан. С формулировкой намудрил в предыдущем посте

[Rassol2]

4 минуты назад, Deveron сказал:

с фото 9колонка URL адрес всех ка­ртинок для товара (р­азделителем между из­ображениями является ",")

решается только предварительным редактированием путем разнесения ссылок на разные колонки?

да.
Но можно при желании сделать свой скрипт который будет выполнятся перед кроном.
Этот скрипт будет скачивать прайс, форматировать его и потом скармливать модулю. Это возможно. Но тут без знания php уже никак.
 

[Rassol2]

3 минуты назад, Sharapov317 сказал:

Путь к файлу крона и прописан. С формулировкой намудрил в предыдущем посте

после работы крона откройте /admin/uploads/ и посмотрите что в логах написано.
Тогда будет больше ясности что модуль сделал а что нет.

[Flint2000]

54 хвилини назад, Deveron сказав:

Интересно, это точно модуль Автоматическая обработка прайс листов?

Т.Е. ваш сарказм или его подобие норма для новичка, а почитать инструкции религия не позволяет? Вам предлагали решения, вы их отвергли.

[Deveron]

45 минут назад, Rassol2 сказал:

Да.
 

Не сочтите за грубость, но давайте подумаем логически.

Какое решение вас устроило бы ? Если удаление из прайса это не ваш вариант.
Для того что бы определить какой товар нужен какой нет. Его нужно как то поменять, для этого нужно зайти в прайс. Затем нужно как то модулю указать что брать только строки из прайса которые помечены.
Это как минимум 2 действия.

А вот если зайти и удалить ненужное это одно действие.

И вот теперь у меня к вам вопрос на логику, как вы видите функцию через которую задавать модулю какие товары грузить а какие нет ? Учитывая то что модуль будет брать сам ссылку и вы как оператор, никогда не знаете что придет завтра.
Очень хочется услышать ваш ответ.

PS. Если использовать автоматически через крон только обновление. Тогда модуль будет обновлять все товары артикул которых совпадает в прайсе и в магазине.
А добавлять новый товар вручную, это частично решает ваше задание.

Но все же ответ на мой вопрос выше хотел бы услышать. Мне просто интересно как вы видите эту реализацию.
 

Не уточнил терминологию: выборочно загружать и выборочно обновлять.

1. Самый первый вариант, это то, что вы предлагаете вручную удалить из прайса и загрузить только те которые нужны.

2. В дальнейшем только обновлять товары которые есть в магазине, они же по артикулу sku сопоставляются и обновятся?

вопрос с фото остался (

[Rassol2]

1 минуту назад, Deveron сказал:

2. В дальнейшем только обновлять товары которые есть в магазине, они же по артикулу sku сопоставляются и обновятся?

да при обновлении товары артикул которых не найден у вас в магазине игнорируются.
 

1 минуту назад, Deveron сказал:

вопрос с фото остался (

В самом модуле не реализована возможность как то обрабатывать ситуации с ссылками на фото в одной ячейке.
Но это возможно сделать внешними скриптами. Аоп в работе через крон такое поддерживает.

Но тут новый камень, у вас прайс на 200мб. не уверен что на сервере много времени выделенное под php скрипт, а значит он банально за одну итерацию может не успеть перебрать весь прайс лист и переформатировать его так что бы каждая ссылка была в новой колонке.

Ну если у вас конечно не vds где вы саами можете указать время на выполнение php скриптов.

[Deveron]

5 минут назад, Flint2000 сказал:

Т.Е. ваш сарказм или его подобие норма для новичка, а почитать инструкции религия не позволяет? Вам предлагали решения, вы их отвергли.

Вы решения не предлагали, вопрос только Вы что товары каждый день добавлять собираетесь? Вот и сарказм считаю уместен. Честно нафиг все эти перепетии в интернете.

Кто-то хочет помогать новичкам кто-то нет.

Купил модуль, имею право задавать вопросы. Если модуль проблем не решает, делаю возврат

[Rassol2]

10 минут назад, Deveron сказал:

Купил модуль, имею право задавать вопросы. Если модуль проблем не решает, делаю возврат

А вот тут вы не правы. Модуль не обязан решать ваши проблемы.

Пример.
У вас есть задача, забить гвоздь. Вы покупаете перфоратор. Перфоратор не решает вашу задачу.
Тогда вопрос не к инструменту.

И по поводу возврата, это тема вообше меня не касается но хотел бы вас предупредить что по условиями соглашения на этой площадке возврат производится только в случаи если модуль не соответствует описанию.

Я понимаю что вы сейчас напишите про слово "автоматическая" но это не имеет значения, потому что это слово не подразумевает того что в модуле будет кнопка СДЕЛАЙ ВСЕ КАК НАДО
И в любом случаи есть нюансы.

К чему я это.

Да к тому что с таким подходом можете наткнутся на ситуацию когда вам деньги не вернут и вы будете плохо отзываться  о сообществе.

А площадка будет права. Луче за ранние задайте сто вопросов, а потом купите модуль. Что бы не было проблем в будущем.

[Sharapov317]

24 минуты назад, Rassol2 сказал:

после работы крона откройте /admin/uploads/ и посмотрите что в логах написано.
Тогда будет больше ясности что модуль сделал а что нет.

Смотрел и ничего не нашел( вообще нет файлов.

Поставил настройку отправить на почту.

Результат ничего не добавлено и не обновлено

В письме тема: Report? Here it is. Job not done. See System -> Error Log Form number 3

[Rassol2]

3 минуты назад, Sharapov317 сказал:

Смотрел и ничего не нашел( вообще нет файлов.

Поставил настройку отправить на почту.

Результат ничего не добавлено и не обновлено

В письме тема: Report? Here it is. Job not done. See System -> Error Log Form number 3

У меня есть подозрение что вы попали на период в кроне.

Там есть такая штука как период, то есть если модуль выполнил форму в 12.00
то до 16.00 модуль будет игнорировать выполнение этой формы, потому что в скрипте cron.php
в переменно $period указан буфер в 4 часа.


Это сделано специально, что бы модуль не запускал одну и туже форму по кругу, а дал возможность выполнятся и другим форма.

А то получается без нее при каждом запуске модуль будет одну и ту же форму обрабатывать, затем брать следующие.

Короче мое мнение что вы просто одни раз выполнили а теперь находитесь в зоне игнорирования, на протяжении 4 часов.