[Поддержка] SimplePars - Универсальный парсер для ИМ

[Flint2000]

2 година назад, Rassol2 сказав:

Правда не совсем понимаю зачем это ?

загрузка xml

[Rassol2]

7 часов назад, Flint2000 сказал:

загрузка xml

Скиньте пример в лс для теста.

[Rassol2]

Обновление 4.2_beta

Новогодние признаки ушли и пора ботать

Это одно из крупнейших обновлений за последние месяцы, если учитывать сколько затронуто старой логики.
Кто будет переходить с 4.1 на 4.2 обратите внимание что нужно проверить выбранные действия на кладке Парсинг в ИМ!!!

Теперь к подробностям.

Логические и Арифметические операторы доступны во всех полях при парсинге в ИМ
Что это такое можете ознакомится в инструкции.
https://simplepars.top/index.php?page=note&n=33

 

SEO шаблоны
Добавлены отдельные переключатели для указания когда их использовать.
 

Спойлер

И сразу на вкладке сео шаблонов, а то часто вопросы по этому поводу.

Работа с Куки
Полностью переработана система работы с куками, устранены все недочеты, и теперь модуль полностью может работать с коками как обычный браузер.
Из изменении более понятная запись кук.
Как с ними работать описано здесь - https://simplepars.top/index.php?page=note&n=15

Изображение в опциях.
Теперь в SimplePars есть возможность парсить изображения в опциях.

Доступно два режима.
1. Стандартный. В данном случаи все работает по стандарту опенкарта. Одно значение опции одно фото. Причем модуль может записывать фото изображений опций только при создании значения. Обновлять или добавлять в уже созданную опцию изображение модуль не может, так как в стандартных опциях опенкарт это теряет какую либо логику.
2. Изображения в опциях с модулем опций от @mpn2005 Используя его модули у вас будет возможность полноценно делать изображение на значение опции и с учетом товаров.
Подробнее про это можете прочесть в инструкции - https://simplepars.top/index.php?page=note&n=38

Обратите внимание!!!

Спойлер

Это поле будет доступно только после установки модулей опций от автора @mpn2005 Ссылки на его модули будут в инструкции.

Ссылки на модули.

opencart2
https://opencartforum.com/files/file/5860-oc3-opcii-s-vvodom-kolichestva-artikulom-i-izobrazheniem/

opencart3

https://opencartforum.com/files/file/5860-oc3-opcii-s-vvodom-kolichestva-artikulom-i-izobrazheniem/

Разделение действий при обновлении и добавлении товара.

А это главная изюминка этого обновления.
Теперь вы можете конкретно указать какие действия выполнять при добавлении товара а какие при обновлении.
На данный момент такое разделение внедрено для

1. Производителя
2. Описания
3. Категорий
4. Изображений товара
5. Атрибуты
6. Опции
7. SEO данные.

Теперь доступны следующие возможности.

###Производитель.

Добавление товара
Не учитывать.
Создавать, добавлять в товар.
Добавлять в товар если уже создан в магазине.

Обновление товара
Не обновлять
Создавать и обновлять в товаре, если новое значение.
Обновлять в товаре если новый производитель и он уже создан в магазин.

 

###Описание

Добавления товара
Не заполнять
Заполнять

Обновление товара
Не обновлять
Обновлять

###Категории
Добавления товара
Не заполнять [Не рекомендую, товар получит категорию с id = 0]
Создавать категории и заполнять в товаре
Заполнить категорию в товаре только если категория уже создана в магазине

Обновление товара
Не обновлять категории
Создавать категории и обновлять в товаре.
Не создавать новые категории, но обновлять если категория уже создана.
Создавать, и добавлять товар в дополнительные новые категории

 

###Изображения в товаре.
Добавления товара
Не добавлять.
Добавлять

Обновление товара
Не обновлять
Заменит все изображения товара (Без физического удаления изображений с хостинга)
Заменит все изображения товара (С удалением изображений с диска. Будут удалены изображения что привязаны к товару в момент обновления)

Добавлять дополнительные изображения при обновлении (Внимание!!! Не производится проверка на дубли!!!)

###Атрибуты.
Добавления товара
Не работать с атрибутами.
Создавать атрибута если такого нет, добавлять атрибуты в товар
Добавлять в товар без создания новых атрибутов.

Обновление товара
Не работать с атрибутами.
Создавать/Добавлять/Обновлять атрибуты.
Добавить/Обновить атрибуты в товаре, не создавать новые.
Добавить новый не обновлять существующие, не создавать новые
Обновить значения существующих атрибутов, не добавлять, не создавать новые.
Удалить все атрибуты в товаре и загрузить заново

 

###Опции
Добавления товара
Не работать с опциями.
Создавать, заполнять в товар
Заполнять в товаре без создания новых опций и значений опций

Обновление товара
Не работать с опциями.
Обновить значения существующих опций
Добавить новые опции и обновить существующие.
Добавить новый не обновлять существующие
Удалить все опции и загрузить заново

###Мета данные в товаре
При добавлении товара.
Не создавать
Создавать

При обновлении товара.
Не обновлять
Обновить по сео шаблону

 

Внимание !!!
В связи с внедрением большей гибкости в выборе действий при обновлении и добавлении товаров, после обновления модуля все пользователи должны сами проконтролировать свои настройки.
Суть в том что расширились возможности действий, и была изменена логика.

 

Всем необходимо пройти по этим полям и выставить какие действия они хотят делать при добавлении и обновлении товара.
Вот здесь.
 

Спойлер

При обновлении необходимо выполнить ./inst.php
 

[partshez]

Как бы еще картинки для категорий парсить и загружать на автомате? 

На данный момент беру страницу, где есть эти фото. Загружаю в отдельную папку. Потом ручками цепляю к категории. Модуль работает со страницей товара. На ней нет фото категории. Все понимаю. Но хочется...

Автору очередная хотелка. 

[Aspirinnka1]

Кстати, нашел на форуме, что такое 

  

В 31.01.2020 в 08:10, Rassol2 сказал:

Парсить и обновлять кеш - В данном режиме модуль будет парсить сайт донор и обновлять файлы кеша несмотря на то есть они у вас или нет.

 

А можно практический смысл его использования? 

Змінено 18 січня 2021 користувачем Aspirinnka1

[Reanimaster]

58 минут назад, partshez сказал:

Как бы еще картинки для категорий парсить и загружать на автомате? 

На данный момент беру страницу, где есть эти фото. Загружаю в отдельную папку. Потом ручками цепляю к категории. Модуль работает со страницей товара. На ней нет фото категории. Все понимаю. Но хочется...

Автору очередная хотелка. 

Парсить в CSV Название категории:Картинку категории. И заливать через модуль импорта CSV.
Не совсем автомат - но и не вручную

[partshez]

53 минуты назад, Aspirinnka1 сказал:

 

 

А можно практический смысл его использования? 

Задание крон. Парсим один раз в месяц (первого числа, например). Кеш записан.

5-го числа решили изменить в названии слова Матрас детский на Детские матрасики (не через Редактор, а парсингом обязательно нужно сделать - такая задача, например). А у нас 58 тыс наименований данного донора. А парсинг стоит один поток с паузой 25 секунд (иначе донор может заблокировать!). Если сейчас запустить, будем ждать окончания двое суток . Что делать?

Включаем парсинг в 5 потоков без паузы, изменяем на Использовать кеш (который лежит на нашем сервере с 1-го числа). И жмем Старт. За два часа обновили все 58 тыс товаров 

[Aspirinnka1]

1 час назад, partshez сказал:

Задание крон. Парсим один раз в месяц (первого числа, например). Кеш записан.

5-го числа решили изменить в названии слова Матрас детский на Детские матрасики (не через Редактор, а парсингом обязательно нужно сделать - такая задача, например). А у нас 58 тыс наименований данного донора. А парсинг стоит один поток с паузой 25 секунд (иначе донор может заблокировать!). Если сейчас запустить, будем ждать окончания двое суток . Что делать?

Включаем парсинг в 5 потоков без паузы, изменяем на Использовать кеш (который лежит на нашем сервере с 1-го числа). И жмем Старт. За два часа обновили все 58 тыс товаров 

Не совсем понял. Видно не дорос я еще до такого  Спасибо, потом еще раз внимаотельно почитаю, а пока не  буду забивать голову. 

Змінено 18 січня 2021 користувачем Aspirinnka1

[Rassol2]

2 часа назад, Aspirinnka1 сказал:

Кстати, нашел на форуме, что такое 

  

 

А можно практический смысл его использования? 

можно.
Допустим у вас кеш за 2020 год.
Вы хотите обновить информацию о товарах, но кеш старый.
Включаете парсинг и обновление кеша, модуль все обновляет и обновляет кеш.

Затем допустим вы через час замечаете что что то сделали не так и вам нужно перепарсить. И вместо того что бы опять долбить донора, вы безопасно перепарсиваете используя кеш который был создан только что. Без обращения к донору.

[Aspirinnka1]

1 час назад, Rassol2 сказал:

Допустим у вас кеш за 2020 год.
Вы хотите обновить информацию о товарах, но кеш старый.
Включаете парсинг и обновление кеша, модуль все обновляет и обновляет кеш.

Спасибо. Нечто подобное я и думал.

[VerKigi]

Возможно ли для описание добавить функцию "добавить к тому что есть"? Допустим я хочу по артикулу спарсить товар с нескольких сайтов, так как в одном сайте в описание нет того, что есть в другом и напротив. То есть объединить описание с разных доноров

[Rassol2]

45 минут назад, VerKigi сказал:

Возможно ли для описание добавить функцию "добавить к тому что есть"? Допустим я хочу по артикулу спарсить товар с нескольких сайтов, так как в одном сайте в описание нет того, что есть в другом и напротив. То есть объединить описание с разных доноров

Нет такой возможности пока нет. я

Можно только полностью обновить.

[agwetwetvwet]

@Rassol2 Обнаружил после парсинга в ИМ артефакты в описании, см картинку

Мне кажется, что {br} должны были замениться?

 

Условия возникновения сейчас не воспроизведу.

 

Спойлер

 

[Axelenz]

19 минут назад, agwetwetvwet сказал:

Мне кажется, что {br} должны были замениться?

А чем и как Вы их заменяете ?

Сама по себе Ваша картинка ни о чём не говорит, не говорит о том, что Вы всё правильно сделали, а в модуле ошибки...

Змінено 22 січня 2021 користувачем Axelenz

[partshez]

52 минуты назад, agwetwetvwet сказал:

@Rassol2 Обнаружил после парсинга в ИМ артефакты в описании, см картинку

Мне кажется, что {br} должны были замениться?

 

Условия возникновения сейчас не воспроизведу.

 

  Скрыть контент

Ищите ошибку или недочет в праилах замены

[agwetwetvwet]

@partshez Придумайте правило, при котором {br} в описании останется в виде текста, тогда и поищу.

[Rassol2]

2 часа назад, agwetwetvwet сказал:

@partshez Придумайте правило, при котором {br} в описании останется в виде текста, тогда и поищу.

Где и как вы добавляете {br} ?

[partshez]

6 часов назад, agwetwetvwet сказал:

@Rassol2 Обнаружил после парсинга в ИМ артефакты в описании, см картинку

Мне кажется, что {br} должны были замениться?

 

Условия возникновения сейчас не воспроизведу.

 

  Показать контент

 

Желательно увидеть вкладку Поиск/замена полностью. Правила, исходный текст и после преобразования. Тогда можно о чем-то говорить. Или добавляете в настройках поля Описание на вкладке Парсинг в ИМ? Действительно, информации мало

А еще лучше, дайте настройки проекта

Змінено 22 січня 2021 користувачем partshez

[Flint2000]

@Rassol2 Вопрос по регулярке. Подскажите пожалуйста, почему не работает правило 

reg{[#(Женский+\s)\1+#]}|

на строку

Женский Женский Женский Женский Женский Женский 

Проверял на https://regex101.com/ там все валидно

Прихований текст

 

Змінено 22 січня 2021 користувачем Flint2000

[Rassol2]

1 час назад, Flint2000 сказал:

@Rassol2 Вопрос по регулярке. Подскажите пожалуйста, почему не работает правило 

reg{[#(Женский+\s)\1+#]}|

на строку

Женский Женский Женский Женский Женский Женский 

Проверял на https://regex101.com/ там все валидно

  Показать контент

 

У меня оно тоже не работает. Причем даже на сайте тестирования.
 

Спойлер

 

[Rassol2]

@Flint2000 Вот более простой вариант ращения вашей задачи.
 

Спойлер

 

[Axelenz]

11 часов назад, Flint2000 сказал:

Вопрос по регулярке. Подскажите пожалуйста, почему не работает правило 

 

{reg[#((Женский\h+)+)\1*#]}|

Правильная формула очевидно будет так выглядеть...

Если одна строка, то используем \h, если много таких строк, то используем \s.

 

Спойлер

 

Змінено 23 січня 2021 користувачем Axelenz

[DPS]

Здравствуйте.

В регулярках кто силён, подскажите пожалуйста: необходимо, чтобы первое слово в предложении начиналось с прописной буквы. Кириллица

[Rassol2]

1 час назад, DPS сказал:

Здравствуйте.

В регулярках кто силён, подскажите пожалуйста: необходимо, чтобы первое слово в предложении начиналось с прописной буквы. Кириллица

Такого правила нет.
Можно только составить правила на каждую букву.
{reg[#^а#]}|А
{reg[#^б#]}|Б

.....

[partshez]

2 часа назад, DPS сказал:

Здравствуйте.

В регулярках кто силён, подскажите пожалуйста: необходимо, чтобы первое слово в предложении начиналось с прописной буквы. Кириллица

Как вариант. Парсим с границами. Дальше создаем правила для каждой буквы. Например, так

{skip}/а|А... {skip}/б|Б...  {skip}/в|В...   {skip}/г|Г...   {skip}/д|Д...   {skip}/е|Е...

Т.е. после слеша первую букву заменяем на заглавную