[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

@Kipish07 Но правда не в следующем релизе.
Чето я взял сильно большую планку, и пока нужно ее закончить.

[partshez]

2 минуты назад, Rassol2 сказал:

У вас котелки занести атрибуты в фильтры.
Ок это + - понятно.

По большому счету это делается модулем фильтров. Когда атрибуты копируются в фильтры... Так что в Вашем модуле, возможно, это и не нужно делать. Свою хотелку снимаю. 

[Rassol2]

1 минуту назад, partshez сказал:

По большому счету это делается модулем фильтров. Когда атрибуты копируются в фильтры... Так что в Вашем модуле, возможно, это и не нужно делать. Свою хотелку снимаю. 

По этой причине я не делал изначально фильтры. Ведь есть куча модулей фильтрации которые решают все вопросы по фильтрам.
А вручную заполнять и редактировать эти фильтры двойная работа.
1. Редактируем атрибуты.
2. Идем редактировать фильтры.
Двойная работа на ровном месте.

[Kipish07]

33 minutes ago, Rassol2 said:

@Kipish07 Но правда не в следующем релизе.
Чето я взял сильно большую планку, и пока нужно ее закончить.

Спасибо за информацию, буду ждать релиза.

[Rassol2]

Обновление 3.4_beta

Очень значимое обновления стоит всем ознакомится и вдуматься в возможности которые у вас появились.
Я банально не смогу расписать все схемы использования, а они уж поверьте становятся действительно почти безграничны.

Изменения в редакторе товаров.
 

Фильтр

Добавлена возможность фильтровать по языковым признакам.
По категориям
По производителям.

Спойлер

Можно не просто выбрать одну категорию, а несколько, установив необходимые галочки.
 

Спойлер

 

то же самое касается и производителей.

Добавлена возможность фильтровать по вспомогательным полям.
Не буду все перечислить смотрите скриншот.

Спойлер

 

Далее в фильтрации по дате добавления и дате последнего обновления товара добавлен оператор {date}
{date} - Этот оператор равен сегодняшней дате. Всегда равен той дате когда происходит фильтрация. Зачем это нужно, позже объясню.
То есть на момент написания этой статьи {date} = "2020-04-22" а завтра будет уже "2020-04-23"
Логика думаю ясна.

Давайте посмотрим через фильтр какие товары были обновлены сегодня.
 

Спойлер

Поскольку в opencart время создания указывается с часами минутами и секундами, а {date} это только год месяц день, то использовать его нужно с переключателем %[значение]% Как показано на скриншоте выше.

 

А теперь давайте узнаем какие товары не были обновлены сегодня. Для этого меняем один переключатель.
 

Спойлер

 

Кажется ерунда ? Дальше вы поймете как это можно использовать для полнейшей автоматизации процесса когда мы дойдем до обновлении CRON.

Действие в редакторе товаров.

Здесь добавилось пару действий.
Удаление атрибутов в товаре.
Удаление опций в товаре
Удалении фото товара.

Полный список действий на скриншоте.
 

Спойлер

 

Вкладка действие претерпела меньше всего изменений, я отложил расширения действий на потом.

 

 

Вкладка ШАБЛОНЫ в редакторе товаров.
Вот тут начинается самое вкусное.
Теперь вы можете один раз выставить переключатели в фильтре, затем перейти в вкладку шаблоны, назвать его и сохранить настройки.
Последующие разы при заходе в редактор товаров у вас будет сохраненный шаблон фильтров и действий.

Вам достаточно будет просто выбрать нужный вам шаблон и выполнить действие в 2 клика.
При этом модуль подгрузит выбранный вами шаблон и сразу же отфильтрует по нему товары.

Пример. Настраиваем фильтр на получение определенной группы товаров.
 

Спойлер

 

Теперь настраиваем действие над этими товарами. Допустим увеличить цену на 30%
 

Спойлер

 

Теперь переходим на вкладку Шаблоны и жмем добавить шаблон.

 

Спойлер

Все, теперь вы можете зайти в редактор товаров, выбрать шаблон и все подгрузится, и вам останется только нажать выполнить действие.

 

Ценю ваше время
 

Спойлер

 

Интересно то, что аналогичной функции нет даже в bath_editor в гениальном модуле для пакетного редактирования товаров. А у нас будет

Кстати, рекомендую bath_editor модуль стоит каждой копейки.

Это все хорошо конечно, много букв, а теперь перейдем к кульминации, чем же это так круто. А то может я тут распинаюсь а вам это покажется ненужной свистелкой.
 

CRON!!!

 

В кроне переписаны все кишки связанные с временем и временными зонами. Выслушал множество недопониманий.
Короче работа проделана титаническая, сделаны выводы и прокачан крон. Начну по нарастанию.

Время.
При работе модуля он отталкивается вот от этого времени. Оно по умолчанию указано в Гринвиче.
 

Спойлер

 

Когда горит оранжевым намекает тонко, обратите внимание что это время может отличатся от вашего времени в котором живете вы. Ведь мало кто из нас живет по Гринвичу Великобритания
Так же теперь есть рядом выбор вашего часового пояса, в котором живете вы. Тем самым вы указываете модулю в каком часовом поясе работать.
 

Спойлер

после выбора времени и нажатия сохранить, конечно же, модуль подсветит вам время зеленым, мягко намекая что все хорошо время выполнения теперь будет совпадать с временем в котором живете вы.

 

Тайм аут.
Люди не до конца понимают что такое тайм аут и зачем он нужен.

Тайм аут это период времени, после окончания выполнения задания, в течении которого модуль повторно не будет запускать это задание.
Все равно сложно звучит.

Давайте в примере.
Допустим, у вас указано выполнять задание с 0 часов до 5 утра.
задание выполнится за один час, то есть будет на часах уже 2 часа. И если тайм аут стоит 0, то модуль повторно запустит это же задания.

Поскольку выполнять его можно с 0 до 5 утра. И вот эту проблему решает тайм аут. Вы указываете 5 часов тайм аут.
После того как модуль выполнит задание и на часах будет 2 ночи. Модуль попробует запустить его повторно и увидит что стоит тайм аут и ближайшие 5 часов повторно запускать это задание нельзя. И тогда модуль пойдет смотреть, а есть ли другие задания?
Очередь выполнения соответствует сортировки.

Так же что бы все было еше более интуитивно, информация про тайм ауты выведена в График выполнения.

Спойлер

 

Теперь наглядно видно что тайм аут не блокирует выполнение задания. Но после того как задание выполнится в и будет необходимость выждать тайм аут вы увидите предупреждение.
 

Спойлер

 

Теперь видно что задание выполнено в 14:35:28 тайм аут выставлен 4 часа. И повторный запуск этого задания заблокирован до 18:35:28
И сколько вы не дергайте крон, он задание не перезапустит, пока не завершится тайм аут. Или же вы не нажмете рестарт задания.

 

Дополнительные задания в кроне!

 

А теперь вишенка на торте.

Вспоминаем все написано про редактор товаров, и шаблоны все то богатство возможностей редактора и переходим в настройки проекта в кроне.

 

Тада.

Спойлер

теперь в каждое задание крона вы можете выбрать дополнительное действие из редактора товаров.

Все то что вы можете сделать там. Вы можете сохранить в шаблон. И этот шаблон использовать либо перед запуском парсинга и обновления. Либо после.

К примеру, вспоминаем настройку с {date} сохраняем шаблон и выбираем действие выключить товар который не обновился.
То есть товар который был удален с сайта донора будет выключен у вас.
Производить наценки по категориям. Да все что может делать Редактор товара, теперь можно делать по крону без вашего участия.

То есть модуль теперь как ассистент на полную ставку.

Я уже устал писать информацию про обновления но это приятная усталость.

При обновлении выполняем /inst.php

Хочу услышать что вы думаете. Но боюсь весь потенциал пока сложно понять, но думаю каждый со временем раскроет множество возможностей в использовании этой связки.
Жду вашу реакцию!!!!

[urchik]

1 час назад, Rassol2 сказал:

Жду вашу реакцию!!!

Все очень круто, теперь бы время выделить и протестировать это все.

[Yaroslavna]

Связка крон + редактор товаров - просто ОГОНЬ! Кому как, а мне уж мне точно много времени сэкономит!

[Rassol2]

4 минуты назад, Yaroslavna сказал:

Связка крон + редактор товаров - просто ОГОНЬ! Кому как, а мне уж мне точно много времени сэкономит!

Рад что вам нравится

[stas2010]

Всё круто!!!

И всё же, если добавить сюда обработку прайсов из экселя и т.п. таблиц - тогда модуль по полной раскроется. тут как раз этого и не хватает. спарсить, например сайт боша для создания карточки товара можно, но всё же чаще цены берутся именно из прайсов поставщиков. при этом приходится делать двойную работу - сначала создать карточку товара парсингом сайта-донора, потом отдельно парсить прайсы поставщиков. а зачастую приходится парсить не один сайт-донор, не все товары есть.

 

Столкнулся еще с одной задачкой.

Есть в базе товар с артикулом 1234567890. Есть такой же товар на сайте-доноре. пока всё ОК. Берем артикул с донора и обновляем товар - всё совпадает.

Далее. Этот товар обновляется производителем и получает артикул 0987654321. Товар идентичен, описание такое же, но с донора описание не взять, т.к. артикулы разные.

На входе имеем из прайса поставщика артикул товара 0987654321 и ссылку на страницу для парсинга.

Вопрос - как заставить модуль спарсить в этой связке? 

Если товаров 10 штук, то не сложно, а вот когда намного больше - всё не отследишь. 

В АОП есть возможность взять ссылку для парсинга из ячейки таблицы и там всё работает (правда нет такого набора инструментов, как тут, и в АОП функционал сильно ограничен и спарсить не все данные получается). Тут такой возможности нет. Опять же приходим к тому, что подгрузка из прайса как бы нужна, или же добавить функционал обработки связки артикул-ссылка, т.е. берем две колонки из прайса (пока вручную копируем) и вставляем в Simplepars, как и ссылки. т.е модуль сразу видит и артикул и по этому артикулу по ссылке забирает данные с донора.

[Rassol2]

6 минут назад, stas2010 сказал:

Всё круто!!!

И всё же, если добавить сюда обработку прайсов из экселя и т.п. таблиц - тогда модуль по полной раскроется. тут как раз этого и не хватает. спарсить, например сайт боша для создания карточки товара можно, но всё же чаще цены берутся именно из прайсов поставщиков. при этом приходится делать двойную работу - сначала создать карточку товара парсингом сайта-донора, потом отдельно парсить прайсы поставщиков. а зачастую приходится парсить не один сайт-донор, не все товары есть.

Для этого есть другие модули которые заточены под работу с прайс листами.
Создать это внутри парсера это разработать еше один модуль, и склеить его с этим. Это очень сложно.
 

12 минут назад, stas2010 сказал:

Есть в базе товар с артикулом 1234567890. Есть такой же товар на сайте-доноре. пока всё ОК. Берем артикул с донора и обновляем товар - всё совпадает.

Далее. Этот товар обновляется производителем и получает артикул 0987654321. Товар идентичен, описание такое же, но с донора описание не взять, т.к. артикулы разные.

Вот прям заменили артикул. Был один они поставили дургой. Как то это не похоже на поставщиков. Ведь артикул это все. Они тем самым ломают вам весь учет, и думаю себе все ломают.
 

 

15 минут назад, stas2010 сказал:

Если товаров 10 штук, то не сложно, а вот когда намного больше - всё не отследишь. 

В АОП есть возможность взять ссылку для парсинга из ячейки таблицы и там всё работает (правда нет такого набора инструментов, как тут, и в АОП функционал сильно ограничен и спарсить не все данные получается). Тут такой возможности нет. Опять же приходим к тому, что подгрузка из прайса как бы нужна, или же добавить функционал обработки связки артикул-ссылка, т.е. берем две колонки из прайса (пока вручную копируем) и вставляем в Simplepars, как и ссылки. т.е модуль сразу видит и артикул и по этому артикулу по ссылке забирает данные с донора.

А как насчет поиск замены ?
1234567890|0987654321

Берем прайс где 1 колонка ссылка. Вторая артикул.
Копируем ссылки и парситм в csv в первую колонку новые артикула.
В итоге имеем два прайса.
1. Ссылка и новый артикул.
2. Ссылка и старый.
Своидим в один и получаем 1 прайс где с двумя артикулами и получить вот такой текст для поиск замены не проблема.
1234567890|0987654321

[lerand]

Блин, блин, блин. Очень круто. Особенно по операциям с товарами, которые не обновились.

[Rassol2]

4 минуты назад, lerand сказал:

Блин, блин, блин. Очень круто. Особенно по операциям с товарами, которые не обновились.

Я старался

[stas2010]

4 часа назад, Rassol2 сказал:

Вот прям заменили артикул. Был один они поставили дургой. Как то это не похоже на поставщиков. Ведь артикул это все. Они тем самым ломают вам весь учет, и думаю себе все ломают.

да есть такие производители и категории товаров, где товары только артикулом и отличаются, а так и описание и содержимое одинаковое, но часто обновление на сайте-доноре не происходит долгое время и товар при парсинге игнорируется. например, печатная продукция - дополнительный тираж идет с новым штрихкодом, также напитки часто тоже отличаются штрихкодом и т.п.. С напитками еще кое-как можно разобраться, а вот с печатными изданиями, где позиция может годом издания отличаться - не всё так просто получается.

 

4 часа назад, Rassol2 сказал:

А как насчет поиск замены ?
1234567890|0987654321

для небольшого количества товаров может и подойдет, а вот для больших прайсов - никак, т.к.:

1. старый и новый прайс отличаются строками и количеством товаров в прайсе, отсюда следует, что сопоставить их нельзя.

2. сделать выборку по новым товарам - то еще занятие, к тому же есть определенные сложности

[Rassol2]

@stas2010 пока что я не готов реализовывать загрузчик прайс листов.
У меня тут еше столько разные задач не реализованных.

Когда список зад будет худой тогда может и рассмотрю.

[vbreste]

10 hours ago, lerand said:

Блин, блин, блин. Очень круто. Особенно по операциям с товарами, которые не обновились.

Да. Это и впрямь очень нужная штука. Не придется придумывать теперь как этот момент обыграть. Есть готовый алгоритм действий. Спасибо автору за доработки!

[Rassol2]

11 часов назад, vbreste сказал:

Да. Это и впрямь очень нужная штука. Не придется придумывать теперь как этот момент обыграть. Есть готовый алгоритм действий. Спасибо автору за доработки!

Не за что. Рад стараться.

[RuslanLight]

При обновлении (загрузке новой версии) не перезаписались вот эти файлы, это на хосте траблы или одно из двух? )

 

[Rassol2]

6 минут назад, RuslanLight сказал:

При обновлении (загрузке новой версии) не перезаписались вот эти файлы, это на хосте траблы или одно из двух? )

 

 

Спойлер

 

Это ничего страшного.
это директории и часто на хостинга в фтп не перезаписываются директории потому что они уже есть, и нету необходимости их заменять.
Это нормальное явление.

[partshez]

Предлагаю помощь. Парсинг в ИМ. Настройка модуля с обучением и дальнейшей помощью. По цене договоримся 

Если у Вас нет желания разбираться в настройках или времени - обращайтесь!

Змінено 24 квітня 2020 користувачем partshez

[RuslanLight]

@Rassol2 Спасибо большое!
@partshez Эх где ж вы раньше были! )

[Rassol2]

Мафия проснулась и требует сделать в редакторе товаров работу с категориями.

Сейчас уже вывел что нужно по категориями сделать.
1. Сделать возможным выводить товар в других категориях. А именно добавить товар в другие категории. (Кроме тех что у него уже есть.)
2. Заменить категорию товара. То есть по нашему перенести в другие категории.

Что там еше нужно вам для работы с категориями ?
Что бы я потом не переделывал.

[partshez]

2 часа назад, Rassol2 сказал:

2. Заменить категорию товара. То есть по нашему перенести в другие категории.

*Показывать в целевых категориях*.... *Не показывать в целевых категориях*. Наверное, по категориям уже ничего не нужно будет. Скоро полностью продублируем АОП  

 

[Oleshka07]

Не смог найти на форуме - столкнулся с такой проблемой при запуске модуля. Че это и нужно и тут что-то устанавливать и как?

Site error: the ionCube PHP Loader needs to be installed. This is a widely used PHP extension for running ionCube protected PHP code, website security and malware blocking. Please visit get-loader.ioncube.com for install assistance.

[Rassol2]

2 минуты назад, Oleshka07 сказал:

Не смог найти на форуме - столкнулся с такой проблемой при запуске модуля. Че это и нужно и тут что-то устанавливать и как?

Site error: the ionCube PHP Loader needs to be installed. This is a widely used PHP extension for running ionCube protected PHP code, website security and malware blocking. Please visit get-loader.ioncube.com for install assistance.

Здравствуйте.
Ваш нужно включить ioncube на хостинге в настройках php

[Rassol2]

2 часа назад, partshez сказал:

*Показывать в целевых категориях*.... *Не показывать в целевых категориях*. Наверное, по категориям уже ничего не нужно будет. Скоро полностью продублируем АОП  

 

И что это такое ?
Целевые категории

Я знаю в опенкарте
1. Главная категория. Она есть в только в версии ocStore
2. Дополнительные категории. Они же просто категории в которых выводится товар. Это во всех остальных опенкартах.

Описанное выше перекрывает все эти варианты.
А что такое целевые ?

По поводу дублирования АОП я бы так не говорил.
Модуль АОП решает задачу загрузи товаров. И мой модуль решает задачу загрузки товаров.
Но пути решения разные.

Мой модуль заточен наполнять с сайта донора.
А АОП заточен на наполнение и обновления товаров по прайс листу. И общее у них только то что АОП может что то под парсить при необходимости.