[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

1 минуту назад, Reanimaster сказал:

Да скрипты вещь. Согласен.
Вот только 1 поток...

Ну это не поправить код тут нужно писать логику и внедрять ее. Просто так я не могу написать что нужно править. Так что тоь ко в скрипты. 

[Reanimaster]

2 минуты назад, Rassol2 сказал:

Ну это не поправить код тут нужно писать логику и внедрять ее. Просто так я не могу написать что нужно править. Так что тоь ко в скрипты. 

Понял. Подскажите, а в загрузке фото товара такая логика присутствует? Проверка наличия фото в папке. Или запись из БД считывается просто?

Edited January 21 by Reanimaster

[Rassol2]

1 минуту назад, Reanimaster сказал:

Понял. Подскажите, а в загрузке фото товара такая логика присутствует? Проверка наличия фото в папке. Или запись из БД считывается просто?

Присутствует. 
и если такое фото есть добавляется к имени пиставка и загружается второй раз с другим именем. 
 

[Reanimaster]

Только что, Rassol2 сказал:

Присутствует. 
и если такое фото есть добавляется к имени пиставка и загружается второй раз с другим именем. 

Понял. Благодарю.

[Denis8585]

Подскажите, пожалуйста.

Если при парсинге в настройках не указывать шаблон названия изображений, то будут сохранены те названия, которые у донора?

Если да, то как поступит модуль при парсинге, если одно фото используется у множества товаров (в моем случае их тысячи);

а) Увидит, что такое фото уже имеется и прикрепит его.

б) Увидит, что такое фото уже имеется и добавит новое с добавлением цифры к названию.

 

Предполагаю, ответ Б… (проверил, так и есть)!

 

Как в таком случае бороться с тысячами одинаковых фото?

 

У донора основное фото уникальное, а дополнительные изображения добавляются ко всем товарам. И у донора эти фото одинаковые по названию и пути. А то десятки Гб одинаковых фото скачиваются.

 

Edited January 22 by Denis8585

[Rassol2]

4 часа назад, Denis8585 сказал:

Подскажите, пожалуйста.

Если при парсинге в настройках не указывать шаблон названия изображений, то будут сохранены те названия, которые у донора?

Если да, то как поступит модуль при парсинге, если одно фото используется у множества товаров (в моем случае их тысячи);

а) Увидит, что такое фото уже имеется и прикрепит его.

б) Увидит, что такое фото уже имеется и добавит новое с добавлением цифры к названию.

 

Предполагаю, ответ Б… (проверил, так и есть)!

 

Как в таком случае бороться с тысячами одинаковых фото?

 

У донора основное фото уникальное, а дополнительные изображения добавляются ко всем товарам. И у донора эти фото одинаковые по названию и пути. А то десятки Гб одинаковых фото скачиваются.

 

Вариант б.
Пока никак, название не гарантирует что фото одинаковое. Это вы знаете а модуль нет.
По этому предлагаю вам парсить только уникальное фото. А остальные sql запросом добавить в товары. То есть сделать запрос и присвоить всем товарам доп фото.

Ну или опять же написать свой php скрипт который постоянно будет вычитать хеш сумму фото записывать в какую то промежуточный. таблицу а дальше при парсинге нового фото вычислять хеш сумму и сравнивать с теми что есть и если такая же сумма нашлась удалять фото и брать уже имеющиеся.

[Denis8585]

18 минут назад, Rassol2 сказал:

Вариант б.
Пока никак, название не гарантирует что фото одинаковое. Это вы знаете а модуль нет.
По этому предлагаю вам парсить только уникальное фото. А остальные sql запросом добавить в товары. То есть сделать запрос и присвоить всем товарам доп фото.

Ну или опять же написать свой php скрипт который постоянно будет вычитать хеш сумму фото записывать в какую то промежуточный. таблицу а дальше при парсинге нового фото вычислять хеш сумму и сравнивать с теми что есть и если такая же сумма нашлась удалять фото и брать уже имеющиеся.

Спасибо. Формулировка «Пока никак» породила надежду… ложную?)))

[Denis8585]

Уважаемые знатоки PHP!

Предложите за разумную цену 

21 минуту назад, Rassol2 сказал:

написать свой php скрипт который постоянно будет вычитать хеш сумму фото записывать в какую то промежуточный. таблицу а дальше при парсинге нового фото вычислять хеш сумму и сравнивать с теми что есть и если такая же сумма нашлась удалять фото и брать уже имеющиеся.

В ЛС. Очень нужно, очень жду…

[Rassol2]

4 часа назад, Denis8585 сказал:

Спасибо. Формулировка «Пока никак» породила надежду… ложную?)))

Я не знаю что будет через год два или десять, но на данный момент никак.

[BustedFuse]

В 12.01.2022 в 15:03, Rassol2 сказал:

Внимательнее смотрите на настройки.
 

  Показать контент

По второй ситуации, ошибка в файле которую кто то модифицировал.
 

  Показать контент

Так как это не стандартный файл товаров, и что там написано мне не известно, но именно оно и сломано.
И копать нужно именно в эту сторону.

Добрый день! Снова по поводу сопутствующих товаров.

По-моему все настроено верно (1).

Видно, что id сопутствующих товаров парсятся в Location (2). Кстати, в конце последнего id должна быть ; или это не имеет значения?

У меня версия OpenCart 2.3.0.2 и сопутствующие товары вписываются именами через Товары - Связи - Рекомендуемые товары (3). Вот как на скриншоте (4). 

 

Так должно быть? Имена должны автоматически туда вписываться согласно спарсенным id в Location или нужны какие-то дополнительные изменения/модули, чтобы сопутствующие товары заработали?

 

 

 

[Rassol2]

1 минуту назад, BustedFuse сказал:

Видно, что id сопутствующих товаров парсятся в Location (2). Кстати, в конце последнего id должна быть ; или это не имеет значения?

Не имеет значения.

3 минуты назад, BustedFuse сказал:

Так должно быть? Имена должны автоматически туда вписываться согласно спарсенным id в Location или нужны какие-то дополнительные изменения/модули, чтобы сопутствующие товары заработали?

для сопутствующих товаров которые реализованы в стандарте опенкарта больше ничего не нужно.
Все что нужно описано этой статье.

https://simplepars.top/index.php?page=note&n=51

 

4 минуты назад, BustedFuse сказал:

Так должно быть? Имена должны автоматически туда вписываться согласно спарсенным id в Location или нужны какие-то дополнительные изменения/модули, чтобы сопутствующие товары заработали?

если вы связь создали все там будет прописано как нужно.

[yurok79]

А есть вариант подтягивать как-то текущий курс доллара и использовать его в наценках?

[partshez]

35 минут назад, yurok79 сказал:

А есть вариант подтягивать как-то текущий курс доллара и использовать его в наценках?

https://simplepars.top/index.php?page=note&n=4

В самом конце инструкции в последней формуле последнее число. Это курс доллара. Его нужно изменять вручную в наценке и запускать обновление. 

Если совсем автоматом, то автор советует использовать скрипты 

Edited January 23 by partshez

[travkovs]

Доброго времени суток!

.

Есть потребность организовать ссылку на товар донора на странице товара в админ части но не получается на тех полях на которые это нужно

Поля MPN и Расположение....     расположение я занял под Страну, но и там пробовал, тоже есть ограничение парсером примерно до 128 или чуть меньше
MPN ограничен до 64 символов а нужно с учетом длинны ссылок до 255 и выше

Спойлер

...

На этом скрине я уже переименовал MPN

 

Спойлер

 

.
Думал в БД искать, но как оказалось парсер

 

 

Edited January 23 by travkovs

[Rassol2]

10 минут назад, travkovs сказал:

Доброго времени суток!

.

Есть потребность организовать ссылку на товар донора на странице товара в админ части но не получается на тех полях на которые это нужно

Поля MPN и Расположение....     расположение я занял под Страну, но и там пробовал, тоже есть ограничение парсером примерно до 128 или чуть меньше
MPN ограничен до 64 символов а нужно с учетом длинны ссылок до 255 и выше

  Показать контент

...

На этом скрине я уже переименовал MPN

 

  Показать контент

 

.
Думал в БД искать, но как оказалось парсер

 

 

Ограничение стоит в базе.
а поскольку при записи в поле значения длиной в 100символов, а поле в базе рассчитано на 64, база просто отрежет хвостик.
Везде модуль на это не обращает внимание кроме полей которые могут быть идентификатором, тут это важно.
Так вот если вы берете поле которое может быть идентификатором в simplepars вам нужно.
1) увеличить значение в базе.
2) Увеличить значение в модуле.
Как увеличить значение в модуле.
Открываете файл

/admin/model/catalog/simplepars.php

находите строку
$form['model'] = substr(trim($this->madeLogicalMathem(str_replace('{csvnc}','',$form['model']), 'str')), 0, 64);
И под ней блок со всеми строками и их ограничениями.
Меняете эти значения в нужных вам полях.

Спойлер

Эти значения по умолчанию выставлены на количества как у стандартного опенкарта.

[travkovs]

30 минут назад, Rassol2 сказал:

1) увеличить значение в базе.
2) Увеличить значение в модуле.
Как увеличить значение в модуле.
Открываете файл

/admin/model/catalog/simplepars.php

находите строку
$form['model'] = substr(trim($this->madeLogicalMathem(str_replace('{csvnc}','',$form['model']), 'str')), 0, 64);

.

В базе изменил давно. Искал ограничение в модуле! Благодарю, сейчас работает всё как нужно!!!!

[travkovs]

Доброго времени суток!
.

Подскажите
1) Реально сделать для изображений иерархию папок как для товаров в каталоге (а не 0,1,2,3,4,5 ...)

Вот так нашёл на этом форуме... правильно?

Спойлер

 

2) Если у донора одно и тоже изображение дублируется на несколько товаров. Как сделать, чтобы парсер их не дублировал раскидывая по папкам

Edited January 24 by travkovs

[Rassol2]

3 часа назад, travkovs сказал:

1) Реально сделать для изображений иерархию папок как для товаров в каталоге (а не 0,1,2,3,4,5 ...)

Вот так нашёл на этом форуме... правильно?

Да правильно.
Но помните имя фото вместе с путем хранения не должны превышать 255символов. В противном случаи опенкарт будет обрезать строку, и фото будет не работать.

3 часа назад, travkovs сказал:

2) Если у донора одно и тоже изображение дублируется на несколько товаров. Как сделать, чтобы парсер их не дублировал раскидывая по папкам

Что то последние время часто этот вопрос стал всплывать.
Допустим у сайта донора 1000 товаров. И все фото он решил именовать вот так.
1.png

2.png

3.png

и того у нас 1000 товаров по три фото, и имена у всех фото одинаковые. Главное фото 1 доп фото 2,3
Вопрос.
У всех товаров одинаковые фото или разные ?

Для ответа на этот вопрос я вижу только два пути.
1) при парсинге каждого фото вычислять его хеш сумму, и вычислять хеш суммы для каждого фото что имеют такое же название у вам в магазине. И если хеш суммы одинаковые то можно сказать что фото одно и тоже. И того при парсинге любого фото у нас возрастает колоссально потребление ресурсов так как НА КАЖДОЕ ФОТО нужно запросить в разных таблицах фото с одинаковыми именами. Затем вычесть хеш суммы и сделать сравнение. И того на товар из 3-5 фото нормально так прирастет. Дальше скорость парсинга колоссально замедлится. Если запрос из базы еше не сильно тормозит, то вычисление хеш сумм каждого фото добавит времени в скорость.

2) написать целый комплекс который будет постоянно при загрузке фото вычислять хеш суммы хранить в отдельной таблице, делая лишние запросы и создавая лишние проблемы. При этом любая загрузка фото не через мой модуль будет ломать всю систему, так как такие фото не будут учитываться. Затем нужно бует написать при удалении товара зачищать фото и данные из этой таблицы, так как фото с такой хеш суммой тоже удалится.
Но любое удаление товара черех сторонний модуль опять же все поломает, так как сторонний модуль не будет беспокоится о хранении актуальной информации об фото в базе симпле парс. И того такой подход не будет работать, он мертво рожденный.
3) В 2022 году, где хостинг стоит 5$ в месяц. А килограмм говядины 8$, можно доплатить 2кг говядины в месяц на дисковое пространство что бы закрыть глаза на это, учитывая что интернет магазин это источник дохода.

Примерно так обстоят дела с дублями фото.

[travkovs]

7 часов назад, Rassol2 сказал:

Что то последние время часто этот вопрос стал всплывать.

.

Это же логично для оптимизации дискового пространства и немного скорости загрузки. Бывает что у донора фото по 1,2,3 Мб приходится отыскивать это фото и оптимизировать. А если это одно и тоже фото на всю группу товаров (пример ниже). Эти страницы подтормаживают!
Сейчас мне приходится вручную через импорт-экспорт объединять. Страницы работают быстрее.
Поэтому в моем случае если проверка дублей такой сложный процесс.. задачи такие:
1) Потребность в распределении фото по тематическим папкам - упростит их поиск!  (но тут проблема с ограничением длинны) 

    ни как не увеличить?  (не тут случайно?)

Спойлер

2) Оптимизация - сжатие фото и их объединение вручную

Спойлер

 

Edited January 25 by travkovs

[Rassol2]

1 час назад, travkovs сказал:

1) Потребность в распределении фото по тематическим папкам - упростит их поиск!  (но тут проблема с ограничением длинны) 

    ни как не увеличить?

Здравствуйте. 
увеличьте размер поля в базе данных. Главного фото и дор фото, это разные таблицы и поля.  

[Aspirinnka1]

Добрый день. Подскажите как правильно указать последовательность задач в кроне, при  условии, что проектов много и за ночь они не успевают спарситься.

Я хочу настроить крон примерно так:

С пон. по пятницу запускаем , к примеру, обновление цен у 5 проектов

в субботу - сбор ссылок\обновление\добавление товаров у других 2-х проектов 

в воскп - сбор ссылок\обновление\добавление товаров у других 2-х проектов 

 

На каждый день порядок выполнения проектов должен начинаться с 1 и идти по порядку?  Спрашиваю не ради праздного любопытства. 2 проекта не запускаются уже как пару недель

 

Спойлер

 

 

 

Edited January 25 by Aspirinnka1

[Aspirinnka1]

12 часов назад, Rassol2 сказал:

Что то последние время часто этот вопрос стал всплывать.

 

Сам только что опять хотел про это спросить ))))

А может есть модуль который объединяет дубли картинок? никто не сталкивался?

 

Ну и еще вопрос про логи крона. Скажите, не сделали вы еще? А то у меня стойкое ощущение что мои шаблоны не запускаются.

 

[Rassol2]

2 минуты назад, Aspirinnka1 сказал:

 

Сам только что опять хотел про это спросить ))))

А может есть модуль который объединяет дубли картинок? никто не сталкивался?

 

Ну и еще вопрос про логи крона. Скажите, не сделали вы еще? А то у меня стойкое ощущение что мои шаблоны не запускаются.

 

нет, ни строчки кода с последнего обновления.
А по поводу дублей фото, против физики не попреш.
А кто хочет убедится.

Можете попробовать написать скрипт который будет скачивать фото, и пытаться определить есть такое фото в уже или нет.
Илт лично для себя, если вы уверены что под одним названием будет только одно фото написать скрипт который будет проверять есть ли в базе у товаров фото с таким именем, и если есть вместо сохранения текущего использовать то что есть в базе. То же задачка окажется не сильно простой но все же можно. Ну и если фото начнут путаться из за одинаковых имен вы знаете куда копать.
А для публичного использования такой подход не годится, луче себе сразу ногу отстрелить.

[Rassol2]

14 минут назад, Aspirinnka1 сказал:

Добрый день. Подскажите как правильно указать последовательность задач в кроне, при  условии, что проектов много и за ночь они не успевают спарситься.

Я хочу настроить крон примерно так:

С пон. по пятницу запускаем , к примеру, обновление цен у 5 проектов

в субботу - сбор ссылок\обновление\добавление товаров у других 2-х проектов 

в воскп - сбор ссылок\обновление\добавление товаров у других 2-х проектов 

 

На каждый день порядок выполнения проектов должен начинаться с 1 и идти по порядку?  Спрашиваю не ради праздного любопытства. 2 проекта не запускаются уже как пару недель

 

  Скрыть контент

 

 

 

Если не запускаются, ищите проекты которым выделен тот же кусок времени, и убедитесь что они не тратят все это время.
Если у вас стоит проект на работу с 5 вечера до 10 и в этом проекте 1000000000 ссылок.
И ест другое задание которое стоит с 8-9 вечера. И там одна ссылка
 

и вот первый проект передаст управление только в том случаи если он закончил свою работе. Но поскольку он не закончил свою работу до 9веча. То время на выполнение второго уже ушло. И даже если первый проект закончит свою работу в 9.01 второй уже не запустится так как он имеет право работать исключительно с 8-9

[partshez]

30 минут назад, Aspirinnka1 сказал:

Добрый день. Подскажите как правильно указать последовательность задач в кроне, при  условии, что проектов много и за ночь они не успевают спарситься.

Я хочу настроить крон примерно так:

С пон. по пятницу запускаем , к примеру, обновление цен у 5 проектов

в субботу - сбор ссылок\обновление\добавление товаров у других 2-х проектов 

в воскп - сбор ссылок\обновление\добавление товаров у других 2-х проектов 

https://prnt.sc/26j3iv3  Для этого проекта я бы выставил часы - звездочку, Таймаут - 20

Есть вопросы - пишите в личку. Помогу за чашечку кофе