Модуль Автоматическая обработка прайс-листов. [Поддержка]

[Lutkech]

11 часов назад, Rassol2 сказал:

Этот вопрос обсуждали с автором модуля. И есть несколько теорий.

Нужно узнать увас.

1. Какая у вас версия движка ?
2. Если у вас модуль OpenCart Lightning  ?
3. Какой у вас хостинг ? И останавливается ли загрузка товара после того как вы получаете остановку скрипта по тайм лимиту
Остановка проверяется просмотром изменяется ли файл sos.tmp после того как браузер получил ответ от сервера. Тайм лимит

1. Opencart.pro
2. Нет
3. Beget. Загружал не много товаров, за раз все прогружалось.

[Rassol2]

47 минут назад, Lutkech сказал:

3. Beget. Загружал не много товаров, за раз все прогружалось.

меняйте хостинг.
Как раз на этом хостинге у меня постоянно дубли пока не поменял.
Не верите может просто взять другой хостинг тестовый аккаунт перенесите копию сайта и нажмите старт. Результат будет без дублей.

Проверил на уже на трех сайтах.

Как вариант если нету желания, или возможности сменить хостинг, установите локалку. На локалке запустите опенкарт и привяжите его к базе данных на вашем хостинге.
И именно на локалке нажимайте запустить парсинг. В таком случаи будет парсить локалка а сохранять данные на хостинг.
Единственное что не забудьте перенести фото с локалки на хостинг.

[Amigo161]

Как правильно парсить картинки  с яндекс диска?

 

Вот код -  

 

Вот мои настройки - 

 

Но фотки не качаются, хотя папки под них создаются.

[zhumasds]

2 часа назад, Rassol2 сказал:

меняйте хостинг.
Как раз на этом хостинге у меня постоянно дубли пока не поменял.
Не верите может просто взять другой хостинг тестовый аккаунт перенесите копию сайта и нажмите старт. Результат будет без дублей.

Проверил на уже на трех сайтах.

Как вариант если нету желания, или возможности сменить хостинг, установите локалку. На локалке запустите опенкарт и привяжите его к базе данных на вашем хостинге.
И именно на локалке нажимайте запустить парсинг. В таком случаи будет парсить локалка а сохранять данные на хостинг.
Единственное что не забудьте перенести фото с локалки на хостинг.

у меня порядка 10 проектов ИМ на бегете, ничего подобного не замечал.

[Rassol2]

6 минут назад, zhumasds сказал:

у меня порядка 10 проектов ИМ на бегете, ничего подобного не замечал.

наверное потому что не сталкивались с тайм лимитом на этом хостинге.
Конкретно здесь после тайм лимита скрипт продолжает работать. Если нажать опять старт порождается второй поток который нехило штампует дубли.

Так же если даже на нажать на обновить, просто банально минут 10 будет грузится то порождается второй поток.
Раньше на этом хостинге было круто один раз нажал и все залетает. Но последнее время что то они поменяли и почему то плодятся процессы php вместо того что бы убиваться.
Я не знаю с чем это связано но перенеся на локалку или на другой хостинг сайт, со всеми настройками, все грузится и проблемы дублей нету.
 

[zhumasds]

1 час назад, Rassol2 сказал:

наверное потому что не сталкивались с тайм лимитом на этом хостинге.
Конкретно здесь после тайм лимита скрипт продолжает работать. Если нажать опять старт порождается второй поток который нехило штампует дубли.

Так же если даже на нажать на обновить, просто банально минут 10 будет грузится то порождается второй поток.
Раньше на этом хостинге было круто один раз нажал и все залетает. Но последнее время что то они поменяли и почему то плодятся процессы php вместо того что бы убиваться.
Я не знаю с чем это связано но перенеся на локалку или на другой хостинг сайт, со всеми настройками, все грузится и проблемы дублей нету.
 

так вот именно, что сталкивался)))

да, у бегета после тайм-лимита идёт фоновое выполнение скрипта.

НО! При нажатии F5 он не дублирует, а, как положено, продолжает работать с точки, указанной в sos.tmp. (Сейчас ещё раз проверю, конечно, мало ли)

 

Очень надеюсь, что не столкнусь с подобными)

[Rassol2]

1 минуту назад, zhumasds сказал:

так вот именно, что сталкивался)))

да, у бегета после тайм-лимита идёт фоновое выполнение скрипта.

НО! При нажатии F5 он не дублирует, а, как положено, продолжает работать с точки, указанной в sos.tmp. (Сейчас ещё раз проверю, конечно, мало ли)

 

Очень надеюсь, что не столкнусь с подобными)

дай бог. Я не исключаю что у них где то кривые настройки в радиусе одного кластера.
Но блин лечится это просто сменой хостинга. В моих трех случаях.

не претендую на истину в последней инстанции, но как вариант проверить человек может.
Самому этот хостинг симпатизирует из за этого мелкого бага с остановкой выполнения php скрипта.

[SHip]

Добрый день. Подскажите. В прайсе  XML атрибут имеет название "S", нужно чтобы в момент работы крона он менял "S" на "W". Как это сделать?

[etinfo]

Добрый день! Обновления прайса от поставщика в 30000-50000 позиций товара обрабатывается модулем 3-4 часа. Скажите пожалуйста, как уменьшить это время в разы, какой тариф хостинга может другой нужен? Сейчас хостинг тайм вэб, лимит в htaccess прописан 512М (хотя думаю, что хостинг все равно сам решает какой лимит установить). На сайте пока что закачано 11000 товаров.

Тариф Century+

Количество сайтов

25  
Дисковая квота, ГБ

15
Лимит нагрузки на CPU сервера, CP 

50         
Базы данных

неограниченно
Пользователи FTP

25
Лимит нагрузки на базы данных 

2200 
 

[zhumasds]

9 минут назад, etinfo сказал:

Добрый день! Обновления прайса от поставщика в 30000-50000 позиций товара обрабатывается модулем 3-4 часа. Скажите пожалуйста, как уменьшить это время в разы, какой тариф хостинга может другой нужен? Сейчас хостинг тайм вэб, лимит в htaccess прописан 512М (хотя думаю, что хостинг все равно сам решает какой лимит установить). На сайте пока что закачано 11000 товаров.

Тариф Century+

Количество сайтов

25  
Дисковая квота, ГБ

15
Лимит нагрузки на CPU сервера, CP 

50         
Базы данных

неограниченно
Пользователи FTP

25
Лимит нагрузки на базы данных 

2200 
 

Почему 3-4 часа - это проблема?)

То есть, вы просто хотите, чтобы модуль обрабатывал прайс листы быстрее, или есть какие-то еще проблемы?

[etinfo]

1 минуту назад, zhumasds сказал:

Почему 3-4 часа - это проблема?)

То есть, вы просто хотите, чтобы модуль обрабатывал прайс листы быстрее, или есть какие-то еще проблемы?

Потому, что таких прайсов у нас 8, которые нужно обновлять каждый день. Итого занимает 24-32 часа из 24 часов на обновления))

Обновлять цены и остатки нужно раз в сутки!

Да, мы хотим чтоб процесс обновления происходил в разы быстрее.

[Rubynoid]

3 часа назад, etinfo сказал:

Потому, что таких прайсов у нас 8, которые нужно обновлять каждый день. Итого занимает 24-32 часа из 24 часов на обновления))

Обновлять цены и остатки нужно раз в сутки!

Да, мы хотим чтоб процесс обновления происходил в разы быстрее.

я тоже хочу, чтобы суп варился 5 секунд, а не час.

Но, как говорится, хотеть не вредно.

[Rassol2]

2 минуты назад, Rubynoid сказал:

я тоже хочу, чтобы суп варился 5 секунд, а не час.

Но, как говорится, хотеть не вредно.

Вы сделали мой день )))

[Rassol2]

@etinfo а что у вас под обновлением подразумевается ?
Все в товаре или обновление цены к примеру ?

[Rubynoid]

17 часов назад, SHip сказал:

Добрый день. Подскажите. В прайсе  XML атрибут имеет название "S", нужно чтобы в момент работы крона он менял "S" на "W". Как это сделать?

Замена значений опций налету при обновлении или при создании.

Создайте в экселе таблицу из 3-х колонок: http://prntscr.com/miz5mq (1)
Например:

Название опции        Значения опции в магазине         Значения опции в прайсе

   Цвет                                        Белый                                       111-белый
   Цвет                                        Зеленый                                    222-зеленый
   Цвет                                        Синий                                       333-синий
   Размер                                       M                                                  46
   Размер                                      XX                                                 48
   Размер                                        X                                                  50
   Размер                                        L                                                  52

и т.д.

Сохраните файл в формате "Таблица XML" под именем option.xml в папке admin/uploads на сайте. http://prntscr.com/miz744 (2)

Все.
Теперь модуль прочитав из прайса значение 46, обновит или добавит в магазине значение М

[Rubynoid]

8 минут назад, Rassol2 сказал:

Вы сделали мой день )))

ну а как можно выжать скорость еще больше?

Всему есть предел, а люди не понимают

[bakzzz]

Здравствовать всем! Просто не знаю как сформулировать вопрос - картинка помогает: подскажите пожалуйста как завести прайс если вместо цифр столбцы отмечаются буквами как здесь. 

В 12.11.2019 в 16:34, hitball сказал:

 

 

[etinfo]

1 час назад, Rassol2 сказал:

@etinfo а что у вас под обновлением подразумевается ?
Все в товаре или обновление цены к примеру ?

Цена и остаток!

[etinfo]

1 час назад, Rubynoid сказал:

я тоже хочу, чтобы суп варился 5 секунд, а не час.

Но, как говорится, хотеть не вредно.

Без грубости Игорь! Я тоже могу нагрубить! был вопрос и попросил ответить а не грубить!!!

[Rassol2]

23 минуты назад, etinfo сказал:

Цена и остаток!

тогда ваш выбор написать собственный скрипт. Который бедует делать это.
В обходи всех логик аоп.
Я думаю получить прайс открыть его получить все артикулу и новые значения и составить мульти запрос к примеру. И одним запросом отправить на сервер обновить цены.
Я думаю на один прайс в 30 000 - 50 000 товаров уйдет около 20 сек. Не считая времени на скачивание этого прайса.
 Но обновить таким способом 8 прайсов вполне реально.

И это не проблема модуля аоп. Нужно просто понимать что ваши потребности просто переросли модуль.

Это аналог когда у вас свой ИМ и вы отсылаете товары по почте. И в один прекрасный момент понимаете что содержать свой авто парск и делать доставку собственными силами будет дешевле и проше для вас.

[Rubynoid]

19 минут назад, etinfo сказал:

Без грубости Игорь! Я тоже могу нагрубить! был вопрос и попросил ответить а не грубить!!!

а где здесь грубость? Я ответил, что хочу скороварный суп.

в ваш адрес лично оскорблений не было.

[etinfo]

4 минуты назад, Rassol2 сказал:

тогда ваш выбор написать собственный скрипт. Который бедует делать это.
В обходи всех логик аоп.
Я думаю получить прайс открыть его получить все артикулу и новые значения и составить мульти запрос к примеру. И одним запросом отправить на сервер обновить цены.
Я думаю на один прайс в 30 000 - 50 000 товаров уйдет около 20 сек. Не считая времени на скачивание этого прайса.
 Но обновить таким способом 8 прайсов вполне реально.

И это не проблема модуля аоп. Нужно просто понимать что ваши потребности просто переросли модуль.

Это аналог когда у вас свой ИМ и вы отсылаете товары по почте. И в один прекрасный момент понимаете что содержать свой авто парск и делать доставку собственными силами будет дешевле и проше для вас.

Спасибо!

[etinfo]

3 минуты назад, Rubynoid сказал:

а где здесь грубость? Я ответил, что хочу скороварный суп.

в ваш адрес лично оскорблений не было.

Хотеть не вредно это было именно в мой адрес, а не в скороварный суп!

[Rubynoid]

4 минуты назад, etinfo сказал:

Хотеть не вредно это было именно в мой адрес, а не в скороварный суп!

Вообще то это слова из песни. Написал шутя, жаль, что вы этого не поняли.

АОП действительно нельзя разогнать больше для обработки таких объемных прайсов за сутки, как бы этого не хотелось.

 

[etinfo]

4 минуты назад, Rubynoid сказал:

Вообще то это слова из песни. Написал шутя, жаль, что вы этого не поняли.

АОП действительно нельзя разогнать больше для обработки таких объемных прайсов за сутки, как бы этого не хотелось.

 

Да, очень жаль!