Модуль Автоматическая обработка прайс-листов. [Поддержка]

[Atlet]

1 час назад, Anastasia720 сказал:

Я обновляла, часа 3. Потом закрыла.

Добавилось всего около 40 товаров из 1500. Что еще можно сделать в таком случае?

Напишите хостеру, чтоб увеличил тайм лимит. Если откажут, меняйте их.

[ginsar]

24 минуты назад, ginsar сказал:

Настроил шаблон для загрузки товаров от поставщика М. Проверил на 20 товарах. Все работает.

Загружаю прайс на 1500 товаров весом 3,5Мб. Старт и... Ничего!  Просто выкидывает на страницу списка поставщиков. Файлов sos, error и report нет на серваке.

Проверяю настройки шаблона. Все в порядке. Стоит "добавлять и обновлять". Снова стартую...опять ничего!

Загружаю маленький прайс на 20 позиций от этого поставщика. Все ок. Товары обновились, файлы sos, error и report на серваке есть. Удаляю их.

Делаю прайс на 500 товаров. Запускаю. Все заработало. Вылетает ошибка по Timeout. Нажимаю обновить.

Слежу на номером обработанной строки прайса в файле sos и офигеваю - уже пошел 4 круг обновления.

Больше после ошибки по таймауту не нажимаю F5. НО файлы sos, error и report изменяются!!!!

В результате: уже прошло 50 минут, морда сайта не грузится, отваливается по таймауту, админка тоже, а файлы sos, error и report продолжают изменяться по кругу!!!!

 

Внимание вопрос: так всегда будет ? Что за херня?

Уже наверно пошел 20 круг обновления всего прайса. Как это остановить ?

 

P.S. Хостинг VPS.

В общем через 1 час и 15 минут хождение по кругу прекратилось. Добавилось порядка 300 товаров. Все это время сайт был недоступен!!!!

Что то пошло не так и как этого избежать ?

Во время загрузки сайт всегда будет отваливаться по тайм-ауту?

 

И еще, после такой загрузки полностью пропали все параметры SEO-шаблона (я делал для товара и для фото)

Змінено 14 вересня 2018 користувачем ginsar

[Anastasia720]

25 минут назад, ginsar сказал:

В общем через 1 час и 15 минут хождение по кругу прекратилось. Добавилось порядка 300 товаров. Все это время сайт был недоступен!!!!

Что то пошло не так и как этого избежать ?

Во время загрузки сайт всегда будет отваливаться по тайм-ауту?

 

И еще, после такой загрузки полностью пропали все параметры SEO-шаблона (я делал для товара и для фото)

Такая же в общем ситуация...

[Djek]

35 минут назад, ginsar сказал:

Что то пошло не так и как этого избежать ?

Во время загрузки сайт всегда будет отваливаться по тайм-ауту?

 

Для заливки действительно больших прайсов автор же рекомендует скопировать их на хостинг в папку uploads, предварительно переименовав как указано у вас в форме https://prnt.sc/9i3nyc . И запускать прямо оттуда.

 

6 минут назад, Anastasia720 сказал:

И еще, после такой загрузки полностью пропали все параметры SEO-шаблона (я делал для товара и для фото)

 

После входа в настроенную c seo форму всегда сначала перехожу на вкладку seo, если там вдруг пусто, нажимаем стрелку назад - выходим из формы не сохраняясь и входим повторно, смотрим вкладку seo - обычно там всё на месте. Если забыли проверить вкладку seo и сохранили какие либо изменения, то вполне возможно, что там дальше будет пусто.

[ginsar]

6 минут назад, Djek сказал:

 

Для заливки действительно больших прайсов автор же рекомендует скопировать их на хостинг в папку uploads, предварительно переименовав как указано у вас в форме https://prnt.sc/9i3nyc . И запускать прямо оттуда.

Какой размер прайса считается большим?

[Djek]

10 минут назад, ginsar сказал:

Какой размер прайса считается большим?

Логика здесь такая. Можно описаным выше способом одним прайсом залить целую большую категорию товаров, то потом надо только менять цены. Тогда имеет смысл сделать копии прайса, разделив его на меньшие подкатегории, очистить все ячейки оставив только наименование, цена, артикул, количество и потом пользуясь одной и той же настроенной формой просто уже меняем цены через основной функционал. Я ориентируюсь на размер около 100К, хотя у меня VPS, но это зависит от настроек хостинга. Вы попытайтесь по человечески понять вашего хостера - можно конечно до предела увеличить php max limit, но если вдруг кто-то зачем-то начнёт вас ддосить или ещё какую пакость посылать - то почему все соседи должны рядышком лежать ?

[ginsar]

9 минут назад, Djek сказал:

Я ориентируюсь на размер около 100К, хотя у меня VPS

100K - это примерно 50 товаров. Я таким методом прайс из 1500 товаров буду сутки обновлять.

У меня тоже VPS.

[Djek]

 

5 минут назад, ginsar сказал:

100K - это примерно 50 товаров. Я таким методом прайс из 1500 товаров буду сутки обновлять.

У меня тоже VPS.

Странно, а у меня несколько сотен, если очистить как сказал и в формате рекомендуемом автором xml2003

Пробуйте экспериментально увеличивать пока не вывалится 500 ошибка, или уменьшать пока она не пропадёт.

А если уж сильно надо тысячами сразу цены обновлять - так загружайте в папку uploads. Это же не трудно ?  и тоже довольно быстро.

[Rassol2]

56 минут назад, ginsar сказал:

100K - это примерно 50 товаров. Я таким методом прайс из 1500 товаров буду сутки обновлять.

У меня тоже VPS.

Если у вас vps почему все не настроить под ваши задачи, что бы модуль не вываливался в time limit 
загружались прайсы большого размера. 

[Rassol2]

1 час назад, Djek сказал:

Логика здесь такая. Можно описаным выше способом одним прайсом залить целую большую категорию товаров, то потом надо только менять цены. Тогда имеет смысл сделать копии прайса, разделив его на меньшие подкатегории, очистить все ячейки оставив только наименование, цена, артикул, количество и потом пользуясь одной и той же настроенной формой просто уже меняем цены через основной функционал. Я ориентируюсь на размер около 100К, хотя у меня VPS, но это зависит от настроек хостинга. Вы попытайтесь по человечески понять вашего хостера - можно конечно до предела увеличить php max limit, но если вдруг кто-то зачем-то начнёт вас ддосить или ещё какую пакость посылать - то почему все соседи должны рядышком лежать ?

не 100к это очень мало, ну вот просто очень мало. 
Стандартные настройки это 2мб на загрузку файлов. И то 2мб я бы назвал очень маленький прайс. 
А 100к это ну вот совсем мало. И дробить прайс так мелко, себе же вред. Хотя бы на 2мб 

А вообще луче приучится запускать прайс c admin/uploads/

[Djek]

35 минут назад, Rassol2 сказал:

не 100к это очень мало, ну вот просто очень мало. 
Стандартные настройки это 2мб на загрузку файлов. И то 2мб я бы назвал очень маленький прайс. 
А 100к это ну вот совсем мало. И дробить прайс так мелко, себе же вред. Хотя бы на 2мб 

А вообще луче приучится запускать прайс c admin/uploads/

Чисто психологически я понимаю людей - сидят они вот уже второй час, жмякают на колёсико, гадают значит - обновилось или нет, мозги закипают - на голову можно чайник ставить. я просто предложил как оптимизировать свою деятельность, один клик - сразу результат = нервы в порядке = здоровый сон. Вобщем timemanagment вместо timelimita . А так то да - не понятно почему люди не хотят или боятся в панель зайти или по ftp прайс в uploads загрузить и обновить хоть весь свой магазин целиком за раз.Пару страниц назад уже было обсуждение этой темы и до этого ещё много и много раз. И вот опять.

Змінено 14 вересня 2018 користувачем Djek

[krluch]

8657 товаров обновляет и загружает уже 7-ой час. Данный модуль больше подходит для мелких поставщиков, но никак не для крупных. Цены у поставщика меняются по курсу банка, то есть надо как минимум 2 раза в день обновлять цены на сайте, а тут один раз приходится обновлять пол дня.

[Djek]

7 минут назад, krluch сказал:

8657 товаров обновляет и загружает уже 7-ой час. Данный модуль больше подходит для мелких поставщиков, но никак не для крупных. Цены у поставщика меняются по курсу банка, то есть надо как минимум 2 раза в день обновлять цены на сайте, а тут один раз приходится обновлять пол дня.

а если просто цены к курсу банка привязать и не мучать ... модуль ? В самом прайсе для обновления цены у вас что, - только наименование, цена и артикул, или ещё неимоверная куча атрибутов, опций, описаний и ссылок, которые вы не собираетесь обновлять ?

[Rassol2]

12 минут назад, krluch сказал:

8657 товаров обновляет и загружает уже 7-ой час. Данный модуль больше подходит для мелких поставщиков, но никак не для крупных. Цены у поставщика меняются по курсу банка, то есть надо как минимум 2 раза в день обновлять цены на сайте, а тут один раз приходится обновлять пол дня.

просто нужно делить процесс. 
Сама загрузка 
и обновления.

выберите действие обновить только цены и все очень быстро обновит. 
И только загрузка. Тогда и загрузка пройдет быстро обойдя процес обновления.

В обновлении проверяется и обновляется все что вы выбрали, это время. 

[krluch]

23 минуты назад, Djek сказал:

а если просто цены к курсу банка привязать и не мучать ... модуль ?

В прайсе цены указаны в гривне

[krluch]

23 минуты назад, Rassol2 сказал:

просто нужно делить процесс. 
Сама загрузка 
и обновления.

Попробую так, может и вправду быстрей будет

[Pavluchi]

Приветствую "прайсоводов" опытных и не очень :)

Нужна помощь - никак не могу взять в толк можно ли в такой ситуации корректно спарсить атрибут... 

Помимо "простых атрибутов типа

<li>
<span class="title">Форма поставки</span>
<span class="val">В разобранном виде</span>
</li>

присутствует такое:

<li>
<span class="title">Пол</span>
<span class="val">Для девочек,</span>
<span class="val">Для мальчиков</span>
</li>

Результат такой записи выглядит, так:

Пол

Для девочек, Для мальчиков

и ещё такое:

<li>

<span class="title">Высота × Ширина × Глубина</span>
<span class="val">1710 <span>×</span>1990 <span>×</span>950<span>мм</span></span>
</li>

Выглядит, как 

Высота × Ширина × Глубина

1710 × 1990 × 950 мм

 

Парсю так:

Начало и конец - весь блок с атрибутами полностью: parametrs-products-list">,after

Параметры: title">,<span,val">,<span

 

Парсится весь блок атрибутов, с "односложными" атрибутами всё отлично, а вот эти два - никак. Получается так: 

Пол

Для девочек,

и

Высота × Ширина × Глубина

1710

 

Может будут в чьей-то светлой голове идеи, как это победить?

[mastertim]

8 часов назад, Rassol2 сказал:

просто нужно делить процесс. 
Сама загрузка 
и обновления.
 
выберите действие обновить только цены и все очень быстро обновит. 
И только загрузка. Тогда и загрузка пройдет быстро обойдя процес обновления.

У меня прайс около 17 000 позиций.

1 раз в сутки обновляю только остатки. Для этого в Модуле обнуляю остатки, из прайса удаляю товары нулевые.

Получается 11 000 позиций.загружаю на хост.

Раньше использовал мышкокликер (прога бесплатная), за мин 40 управлялась, каждый 15 сек просто давила на старт

На днях пришлось перейти на более дорогой тариф так как нагрузка на базу не укладывалась.

Теперь другая засада - модуль запускается один раз, тайм лимит не возникает, просто крутит по кругу прайс непрерывно...

Сайт и админка не доступны полностью (тут кто то писал что он типа у вас не доступен, а для посетителей нет, - ничего подобного)

Такое впечатление что сервер рухнул, и только скачав sos можно понять что модуль работает

Убить процесс можно только удалив сам прайс из uploads 

Получается если я не за компом, повлиять на процесс не возможно...

 

 

Змінено 14 вересня 2018 користувачем mastertim

[Rassol2]

1 час назад, mastertim сказал:

У меня прайс около 17 000 позиций.

1 раз в сутки обновляю только остатки. Для этого в Модуле обнуляю остатки, из прайса удаляю товары нулевые.

Получается 11 000 позиций.загружаю на хост.

Раньше использовал мышкокликер (прога бесплатная), за мин 40 управлялась, каждый 15 сек просто давила на старт

На днях пришлось перейти на более дорогой тариф так как нагрузка на базу не укладывалась.

Теперь другая засада - модуль запускается один раз, тайм лимит не возникает, просто крутит по кругу прайс непрерывно...

Сайт и админка не доступны полностью (тут кто то писал что он типа у вас не доступен, а для посетителей нет, - ничего подобного)

Такое впечатление что сервер рухнул, и только скачав sos можно понять что модуль работает

Убить процесс можно только удалив сам прайс из uploads 

Получается если я не за компом, повлиять на процесс не возможно...

 

 

100% недоступен у вас лично, и то только в том браузере в котором запущен модуль. Особенности браузера. Открыв другой браузер у вас все будет и админка и сайт. 
Коме случаев когда вы своими действиями конкретно положили веб сервер. Но я за свою практику такого не добивался. 
Ложил базу данных этим модулем. И то на очень дешёвом тарифе где ограничение на количество запросов в mysql 

[nibbl]

8 часов назад, Rassol2 сказал:

 

 

 

Подскажите как можно решить такую задачку.

есть прайс состоящий из категорий трех уровней и в нем категории третьего уровня повторяются названия (((

Пример:

1)Обувь

    2)кроссовки

       3)кожаные 

    2)ботинки

       3)кожаные

 

при заполнении категорий в автоматическом режиме модуль берет первую попавшуюся категорию кожаные и пихает ее впервую попавшуюся связку - Обувь -> кроссовки-> кожаные  и дальше не смотрит, что другая подкатегория кожаные относится у другой категории и весь товар закидывается в кроссовки.

 

и таких моментов много(((

 

вопрос: как это обойти? 

 

 

[nibbl]

И еще один вопрос:

на сайт https://opencartforum.com/files/file/811-avtomaticheskaya-obrabotka-prays-listov/ модуль версии 9.1  а у нас 8.9.4 почему так? 

[4izhh]

4 часа назад, nibbl сказал:

 

 

Подскажите как можно решить такую задачку.

есть прайс состоящий из категорий трех уровней и в нем категории третьего уровня повторяются названия (((

Пример:

1)Обувь

    2)кроссовки

       3)кожаные 

    2)ботинки

       3)кожаные

 

при заполнении категорий в автоматическом режиме модуль берет первую попавшуюся категорию кожаные и пихает ее впервую попавшуюся связку - Обувь -> кроссовки-> кожаные  и дальше не смотрит, что другая подкатегория кожаные относится у другой категории и весь товар закидывается в кроссовки.

 

и таких моментов много(((

 

вопрос: как это обойти? 

 

 

Я делал это так, добавлял к 3 уровню категорий 2 уровень. 

В вашем случае получается 

2)кроссовки

       3)кожаные кроссовки

2)ботинки

       3)кожаные ботинки

 

[Rassol2]

4 часа назад, nibbl сказал:

 

 

Подскажите как можно решить такую задачку.

есть прайс состоящий из категорий трех уровней и в нем категории третьего уровня повторяются названия (((

Пример:

1)Обувь

    2)кроссовки

       3)кожаные 

    2)ботинки

       3)кожаные

 

при заполнении категорий в автоматическом режиме модуль берет первую попавшуюся категорию кожаные и пихает ее впервую попавшуюся связку - Обувь -> кроссовки-> кожаные  и дальше не смотрит, что другая подкатегория кожаные относится у другой категории и весь товар закидывается в кроссовки.

 

и таких моментов много(((

 

вопрос: как это обойти? 

 

 

сцепите старшую категорию и младшую. Получите строку "красовкикожанные" и настройте модуль на то что такая строка равно категории кожаные, в род. красовки

[mastertim]

13 часов назад, Rassol2 сказал:

100% недоступен у вас лично, и то только в том браузере в котором запущен модуль. Особенности браузера. Открыв другой браузер у вас все будет и админка и сайт. 

Коме случаев когда вы своими действиями конкретно положили веб сервер

Какие интересно мои действия которые ложат сервер? Пробовал с разных мест и устройств, недоступен сайт. 1000р/месяц Таймвэб тариф Элтерно

[Rassol2]

32 минуты назад, mastertim сказал:

Какие интересно мои действия которые ложат сервер? Пробовал с разных мест и устройств, недоступен сайт. 1000р/месяц Таймвэб тариф Элтерно

это предположения. 
задайте вопрос поддержке. что они вам скажут на это. 
С такой ценой почему не взять vps ?