[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

@ackmatoff

У вас можно заменить
 

Спойлер

На | и так же в границе с фото.
И тогда получится результат.
 

Спойлер

Да еше заметил по вашим настройкам, нужно запретить имя csv файла с пробелами.
Есть некое негласное правило. Имена файлов писать с маленькой буквы, латинскими, без пробелов. Это самый верный метод что бы не было проблем.
Так что придется жостко запретить указывать имя файл с пробелами

Спойлер

 

[ackmatoff]

 

Spoiler

Еще, не добавляет "Мета-тег Title" и "Мета-тег Description"

 

Вопрос по поводу тэгов остается открытым, почему-то не берет их модуль. Настройки те же

SPsetting-12.json

Змінено 16 липня 2019 користувачем ackmatoff

[ackmatoff]

Spoiler

 

 

Спасибо! 

[Rassol2]

6 минут назад, ackmatoff сказал:

Вот такая у меня ситуация, дублирует товаров

Читайте логи.
Вот я загрузил вашу форуму. Запустил и тоже есть так.
Кажется что модуль дублирует ?
 

Спойлер

А вот модуль ничего и не дублирует.
Вы указали идентификатор артикул.

Смотрим логи модуля.

Спойлер

видим что ссылки разные.
Открываем ссылки и видим артикула разные.
разные артикула занчит разные товары.

Модуль тут не ошибся.

[ackmatoff]

Spoiler

 

 

Да Вы правы!

 

Я нашел в чем проблема, у них на сайте есть две или несколько ссылок на один и тот же товар, то есть таким образом они разделили цвета. 
На примере, белый: https://www2.hm.com/tr_tr/productpage.0721481001.html, голубой: https://www2.hm.com/tr_tr/productpage.0721481003.html

А как можно сделать так, я бы сказал, если названия похожие,  то оставить только одного товара, но есть и разные товары с  похожими названиями...
Думаю, можно идти по ссылкам на изображении, заметил что модуль берет одни и те же изображении для всех цветов.

Змінено 16 липня 2019 користувачем ackmatoff

[Rassol2]

1 минуту назад, ackmatoff сказал:

  Показать контент

 

 

Да Вы правы!

 

Я нашел в чем проблема, у них на сайте есть две или несколько ссылок на один и тот же товар, то есть таким образом они разделили цвета. 
На примере, белый: https://www2.hm.com/tr_tr/productpage.0721481001.html, голубой: https://www2.hm.com/tr_tr/productpage.0721481003.html

А как можно сделать так если, я бы сказал если названия похожие,  то оставить только одного товара, но есть и разные товары с  похожими названиями...
Думаю, можно идти по ссылкам на изображении, заметил что модуль берет одни и те же изображении для всех цветов.

Сделайте вторую границу для ссылок на изображение. Такую же.
Только в поиск замене поставьте на эту границу хешировать 10 символов.
Если по разным ссылка в границу фото попадают одни и теже данные. Значит хеш будет одинаковый. И если этот хеш указать в качестве sku идентификатора товара.
тогда модуль сможете понять что товар на этих двух страницах один и тот же. И его добавлять не нужно.

это теория. Практику делайте сами. Берите 2 ссылки проверяйте какой хеш. Все ли ок.
Но в теории это будет работать.

[ackmatoff]

Вопрос по поводу тэгов остается открытым, почему-то не берет их модуль. Настройки те же

[Rassol2]

3 минуты назад, ackmatoff сказал:

Вопрос по поводу тэгов остается открытым, почему-то не берет их модуль. Настройки те же

Вы про эти теги, которые вы здесь указали.
 

Спойлер

Но здесь не включили ?
 

Спойлер

Наверное эти переключатели нужно будет перенести на страницу SEO шаблона.

[ackmatoff]

Spoiler

 

 

Знал что, что-то пропустил. Сори за это ))

[Rassol2]

11 минут назад, ackmatoff сказал:

Знал что, что-то пропустил. Сори за это ))

бывает.
Сейчас доделываю всякие мелочи, и будет релиз.

[Rassol2]

Обновление v2.5-5_Beta
 

Это уже так чисто финальные шлифовки.

 

Сделал что бы на странице сбора ссылок в форме ссылки на товар выводились все ссылки, обработанные парсером или нет. Не знаю почему раньше так не сделал. Но теперь есть. А то раньше там не было видно ссылок если вы их спарсили к примеру в csv.
 

Теперь при указании имени прайс листу если вы укажите пробел, модуль заменит его на нижнее подчеркивание _ поскольку файл с пробелов в имени может вызывать ошибку при попытке скачать его.

Теперь если вы укажите html код в начало или в конец границы парсинга. Или в форме настроек csv модуль не будет преобразовывать код в сушности.
И запишет так как вы указали.

Пример.

В поиск замене.

Спойлер

В форме csv

Спойлер

результат

 

Спойлер

За это спасибо @stas2010

Так же теперь при выполнении /inst.php если у вас версия php ниже 5.6 вы получите предупреждение.

 

Потихоньку подтираю все мелкие детали.

 

[urlmy]

Добрый день! Не получается в нормальном виде спарсить в ИМ атрибуты.

Ниже скриншоты. Как правильно сделать? Берется только Первая строка, а ниже он отбрасывает

 

Змінено 16 липня 2019 користувачем urlmy

[Rassol2]

36 минут назад, urlmy сказал:

Добрый день! Не получается в нормальном виде спарсить в ИМ атрибуты.

Ниже скриншоты. Как правильно сделать? Берется только Первая строка, а ниже он отбрасывает

скиньте настройки я посмотрю поправлю и верну вам.

[urlmy]

4 minutes ago, Rassol2 said:

скиньте настройки я посмотрю поправлю и верну вам.

 

888.json

[Rassol2]

5 минут назад, urlmy сказал:

 

888.json 336 \u043a\u0411 · 0 downloads

В инструкции к модулю написано как парсить атрибуты.
https://simplepars.top/index.php?page=doc#tab_pars-store

Почему все игнорируют ее ?

Спойлер

Атрибуты

Относится к сложным данным.

Действие

Создать/Добавить/Обновить - Создает новые атрибуты. Добавляет в товар при обновлении, и добавлении товара.

Добавить/Обновить - Добавляет в товар атрибуты которые уже есть в магазине, и обновляет значение тех что есть у товара.

Обновить [Только существующие в товаре] - Если в товаре создан атрибут, и он есть на сайте доноре, то его значение модуль обновит.

Удалить из товара создать заново - Удаляет атрибуты из товара. И записывает заново что есть на сайте доноре.

Нет - Не работать с атрибутами.

Нюансы

Для того что бы модуль правильно создал атрибут и присвоил ему значение нужно данные парсинга атрибутов привести к виду.

Название{csvnc}Значение{csvnc}Название{csvnc}Значение{csvnc}Название{csvnc}Значение

Выглядит страшно, но делается просто

Либо через повторяющие границы парсинга, либо через поиск замену.

В вашем конерктено случаи достаточно таких правил.
</dt>|{csvnc} - Заменить закрывающий тег имени атрибута на {csvnc}
</dd>|{csvnc} - Заменить закрывающий тег значения атрибута на {csvnc}
  | -Удалить два рядом стоящих пробела. (навожу марафет для вида.)
<{skip}>| - удалить все html теги из атрибутов.
{br}| - удалить переносы строки.

Результат на странице поиск замена.
 

Спойлер

Результат в парсинге в им.
 

Спойлер

ну и файл вам обратно.
SPsetting-10.json

[urlmy]

7 minutes ago, Rassol2 said:

В инструкции к модулю написано как парсить атрибуты.
https://simplepars.top/index.php?page=doc#tab_pars-store

Почему все игнорируют ее ?

  Reveal hidden contents

Атрибуты

Относится к сложным данным.

Действие

Создать/Добавить/Обновить - Создает новые атрибуты. Добавляет в товар при обновлении, и добавлении товара.

Добавить/Обновить - Добавляет в товар атрибуты которые уже есть в магазине, и обновляет значение тех что есть у товара.

Обновить [Только существующие в товаре] - Если в товаре создан атрибут, и он есть на сайте доноре, то его значение модуль обновит.

Удалить из товара создать заново - Удаляет атрибуты из товара. И записывает заново что есть на сайте доноре.

Нет - Не работать с атрибутами.

Нюансы

Для того что бы модуль правильно создал атрибут и присвоил ему значение нужно данные парсинга атрибутов привести к виду.

Название{csvnc}Значение{csvnc}Название{csvnc}Значение{csvnc}Название{csvnc}Значение

Выглядит страшно, но делается просто

Либо через повторяющие границы парсинга, либо через поиск замену.

В вашем конерктено случаи достаточно таких правил.
</dt>|{csvnc} - Заменить закрывающий тег имени атрибута на {csvnc}
</dd>|{csvnc} - Заменить закрывающий тег значения атрибута на {csvnc}
  | -Удалить два рядом стоящих пробела. (навожу марафет для вида.)
<{skip}>| - удалить все html теги из атрибутов.
{br}| - удалить переносы строки.

Результат на странице поиск замена.
 

  Reveal hidden contents

Результат в парсинге в им.
 

  Reveal hidden contents

ну и файл вам обратно.
SPsetting-10.json

Класс! Спасибо большое за помощь

[Rassol2]

10 минут назад, urlmy сказал:

Класс! Спасибо большое за помощь

не за что.

[Axelenz]

4 часа назад, Rassol2 сказал:

Обновление v2.5-5_Beta
 

Это уже так чисто финальные шлифовки.

 

Сделал что бы на странице сбора ссылок в форме ссылки на товар выводились все ссылки, обработанные парсером или нет. Не знаю почему раньше так не сделал. Но теперь есть. А то раньше там не было видно ссылок если вы их спарсили к примеру в csv.
 

Теперь при указании имени прайс листу если вы укажите пробел, модуль заменит его на нижнее подчеркивание _ поскольку файл с пробелов в имени может вызывать ошибку при попытке скачать его.

Теперь если вы укажите html код в начало или в конец границы парсинга. Или в форме настроек csv модуль не будет преобразовывать код в сушности.
И запишет так как вы указали.

Пример.

В поиск замене.

  Показать контент

В форме csv

  Показать контент

результат

 

  Показать контент

За это спасибо @stas2010

Так же теперь при выполнении /inst.php если у вас версия php ниже 5.6 вы получите предупреждение.

 

Потихоньку подтираю все мелкие детали.

 

 

А ошибка с кодировкой на локалке будет ликвидирована ?

 

 

Ну или поставить выбор, работать на локалке или в инете...

Змінено 16 липня 2019 користувачем Axelenz

[Rassol2]

5 минут назад, Axelenz сказал:

А ошибка с кодировкой на локалке будет ликвидирована ?

это не совсем ошибка. Это маячок. Таким образом я могу выловить все сайты которые имеют кривую кодировку. Разобраться в их устройстве и сделать алгоритм который будет обрабатывать все возможные ситуации.
В коне бета, я заглушу его. Но сейчас я больше заинтересован получить ссылки на разные сайты где дикая кодировка.

В данном случаи модуль должен отработать нормально, и недостаток в самой стандартной функции php
Я вам присылал куда прописать один символ что бы заглушить.

Выбора между локальной и вебом не будет. Потому что модулю по сути без разницы.
Разница только в одном. Как бы это не обидно звучало.

Локалка = кривые настройки.
Веб = Настройки хостинга специалистами.

Нельзя сделать настройку которая позволит учесть все возможные кривости в настройке веб сервера. Или все отклонения от более мение принятого стандарта.
Недавно у меня было 2 случая с локальшиками.

 

1. На локальном сервере не включен модуль PDO - https://www.php.net/manual/ru/book.pdo.php
Если не 100% хостинга по умолчанию поддерживают работу с пдо то точно 99.9999999999999999999999999%
Но на локалке у человека это было не установлено, как такую ситуацию разрулить ?

2. На локалке у человека не работало fetch_all
потому что у него не был установлен модуль mysqlnd, это наверное еше с времен пирамид везде по умолчанию ставится. А у него нет. Я даже не знал что такое может быть.
И как такое можно разрулить ?

Так что используя локалку, вам нужно самим до настраивать веб сервера. А сделать кнопку работать на локалке. Невозможно.

[Axelenz]

 

На локалке проблема решается выбором кодировки HTTP сервера (Open Server 5.2.2) - UTF-8. Потому, как по умолчанию она: "не задано".

Благодарю за ответ.

Змінено 16 липня 2019 користувачем Axelenz

[Rassol2]

1 минуту назад, Axelenz сказал:

На локалке проблема решается выбором кодировки HTTP сервера - UTF-8. Потому, как по умолчанию она: "не задано".

Благодарю за ответ.

добавлю еше в свой список того с чем можно встретится на локалке
Вам +

[Axelenz]

Поспешил... в моём случае так не решить проблему. В данных донора присутствует кроме кодировки UTF-8 ещё и другие кодировки и это не ошибка. Например, названия на немецком языке, где используются символы типа äöü и пр.

Змінено 16 липня 2019 користувачем Axelenz

[Rassol2]

14 минут назад, Axelenz сказал:

Поспешил... в моём случае так не решить проблему. В данных донора присутствует кроме кодировки UTF-8 ещё и другие кодировки и это не ошибка. Например, названия на немецком языке, где используются символы типа äöü и пр.

откройте /admin/model/catalog/simplepars.php
И поставьте символ @ как на скриншоте.


Сохраните и ошибки не будет. Только проверьте 2 разным места на сайт где разные кодировки. Правильно ли отображается название в одной кодировке. И любой другой текст на странице , у которого иная кодировка.
По сути должно работать.

[ackmatoff]

Здравствуйте, когда будут опции? Спасибо

[Rassol2]

1 час назад, ackmatoff сказал:

Здравствуйте, когда будут опции? Спасибо

Здравствуйте.
Позже. Пока не приступал за их реализацию.