[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

29 минут назад, bodyak0 сказал:

<a href="javascript:void(0);" onclick="$('#j-mod-prop-zubchatajaeyka').val($(this).data('value')).trigger('change', this); return false;" data-value="4" data-tooltip-id="4" class="modification__button   btn j-button-modification-change">
                            Без рейки                                                    </a>

там такого плана переключение опции, цена в шапке меняется но не поддается парсингу)

Да в данном доноре цена подгружается через Доп запросы, такое пока не разрешимо.

[partshez]

4 часа назад, bodyak0 сказал:

мне нужно извлечь цену опции, а цену он извлекает только 1 и то непонятно откуда берет ее)
можете попробовать извлечь цену? Там просто опция как я понимаю реализована на переключении

https://prnt.sc/se6nnw   https://prnt.sc/se6nzs

https://prnt.sc/se6pa9  https://prnt.sc/se6om4

Каждая опция идет с разным кодом. Попробуйте в этом направлении покопать...

[bodyak0]

30 хвилин назад, partshez сказав:

https://prnt.sc/se6nnw   https://prnt.sc/se6nzs

https://prnt.sc/se6pa9  https://prnt.sc/se6om4

Каждая опция идет с разным кодом. Попробуйте в этом направлении покопать...

уже перепробовал все, если так делать то дубли товара будут, а они не нужны мне, через датакул уже проблему решил)

[partshez]

Вечер добрый! Где лежит этот файл?  simplepars_id-2.log

Спойлер

Извините логи не могут быть показаны поскольку размер файла simplepars_id-2.log превышает допустимые 25мб
Но вы можете скачать лог файл себе на персональный компьютер и открыть его текстовым редактором.
После этого можете очистить логи что бы модуль начал писать заново.
Так же вы можете увеличить значение Размер выводимого лога.

 

[Rassol2]

2 минуты назад, partshez сказал:

Вечер добрый! Где лежит этот файл?  simplepars_id-2.log

  Скрыть контент

Извините логи не могут быть показаны поскольку размер файла simplepars_id-2.log превышает допустимые 25мб
Но вы можете скачать лог файл себе на персональный компьютер и открыть его текстовым редактором.
После этого можете очистить логи что бы модуль начал писать заново.
Так же вы можете увеличить значение Размер выводимого лога.

 

логи хранятся по стандарту опекнкарта.
/system/storage/logs/

Но у вас же есть кнопка для скачивания.
 

Спойлер

 

[partshez]

1 час назад, Rassol2 сказал:

логи хранятся по стандарту опекнкарта.
/system/storage/logs/

Но у вас же есть кнопка для скачивания.
 

  Скрыть контент

 

Спасибо! Второй день с интересным сайтом копаюсь. Уже мозги закипают. Простых вещей не вижу.

[kostya242]

Привет. Не перестаю удивляться возможностям комбайна =)) 

 

Вопрос следующий:

 

Допустим при парсинге товаров по крону, у поставщика на складе заканчивается товар и у него появляется метка "нет на складе". В парсере это можно обыграть, чтобы товар который закончился получал метку (наличие или как там в opencart называется) - нет на складе или ожидание 2-3 дня?

 

Спойлер

 

И предложение для внедрения:

 

При работе с категориями, сделайте возможность вручную вводить категории с отображением, при большом количестве категорий очень долго приходится листать.

Спойлер

 

Змінено 13 травня 2020 користувачем kostya242

[Rassol2]

Только что, kostya242 сказал:

Допустим при парсинге товаров по крону, у поставщика на складе заканчивается товар и у него появляется метка "нет на складе". В парсере это можно обыграть, чтобы товар который закончился получал метку (наличие или как там в opencart называется) - нет на складе или ожидание 2-3 дня?

Да можно. Через редактор товара и шаблоны в кроне.
Здесь описан путь реализации вашей задачи
https://simplepars.top/index.php?page=note&note_id=30

 

1 минуту назад, kostya242 сказал:

При работе с категориями, сделайте возможность вручную вводить категории с отображением, при большом количестве категорий очень долго приходится листать.

Над этим подумаю.

[kostya242]

Также заметил что при добавлении товаров (через редактор) по категориям (добавить категорию), в общем каталоге потом не отображается раскрывающийся список

 

Спойлер

 

[Rassol2]

1 минуту назад, kostya242 сказал:

Также заметил что при добавлении товаров (через редактор) по категориям (добавить категорию), в общем каталоге потом не отображается раскрывающийся список

Разница между этими двумя блоками в том что первый свернутый а второй развернутый.
 

Спойлер

Но оба вложенные.

[partshez]

Подскажите структуру опций.

Для одежды нужно создать несколько связанных опций цвет -  3-5 размеров. Не могу сообразить конечный результат.

На странице товара как должно быть? Синий(цвет) - размеры 34,36,38, 42. Черный - 36,40, 44... и т.д. Предположим, буду использовать модуль Связанные опции (еще не работал с ним) и модуль Живая цена.

Что и как я должен настроить в Симплпарс? В Опциях?   https://prnt.sc/sgh9z2

Одна опция - это один цвет (опция - синий, опция-черный, опция- зеленый, опция- красный). А в значения загнать размеры?

Или должны быть только две обязательные опции - Цвет и Размер? Как синему дать три размера, черному пять размеров, зеленому один размер, а у желтого вообще нет размеров... Цена товара не зависит от цвета и размера на данный момент - для всех вариантов одинакова.

 

И еще вопрос. Изображения в опциях. Есть такие модули...  Как спарсить модулем и загнать фото товара по цвету для опций? https://prnt.sc/sghe4l

 

 

Змінено 14 травня 2020 користувачем partshez

[Rassol2]

1 час назад, partshez сказал:

Подскажите структуру опций.

Для одежды нужно создать несколько связанных опций цвет -  3-5 размеров. Не могу сообразить конечный результат.

На странице товара как должно быть? Синий(цвет) - размеры 34,36,38, 42. Черный - 36,40, 44... и т.д. Предположим, буду использовать модуль Связанные опции (еще не работал с ним) и модуль Живая цена.

Что и как я должен настроить в Симплпарс? В Опциях?   https://prnt.sc/sgh9z2

Одна опция - это один цвет (опция - синий, опция-черный, опция- зеленый, опция- красный). А в значения загнать размеры?

Или должны быть только две обязательные опции - Цвет и Размер? Как синему дать три размера, черному пять размеров, зеленому один размер, а у желтого вообще нет размеров... Цена товара не зависит от цвета и размера на данный момент - для всех вариантов одинакова.

 

И еще вопрос. Изображения в опциях. Есть такие модули...  Как спарсить модулем и загнать фото товара по цвету для опций? https://prnt.sc/sghe4l

В SimplePars нету адаптации под модуль связанных опций. И пока еше нету загрузки фото в опции.
Оба этих вопроса требуют изучения самых популярных модулей, и реализовывать именно под них.
Так как в стандартном опенкарте нету связанных опций, и так же убого реализованы фото в опциях.
По этим причинам и не реализовал пока что.

[Rassol2]

Обновление 3.5-1_beta

 

Парсинг в ИМ
Добавлена возможность отсевать страницы при парсинге, по разным параметрам.
 

Спойлер

Краткое руководство по использованию.
Для начала нужно не забыть глобально включить использование проверки границ.
 

Спойлер

Вы можете добавлять сколько угодно правил проверки. Работает все так же как и другие поля в модуле SImplePars в вкладке парсинг в ИМ
Разберем каждую настройку по отдельности.

1. Включает или выключает выполнения этого правила.
2. Указываете название правила, нужно что бы логи вам сообщали из за какого правила было отброшено ссылку ссылку.

3. Поле куда вы можете вписать границу парсинга которую хотите проверить. Так же тут можно указывать сразу несколько границ. К пример {gran_1}{gran_2}
4. Основной переключатель. Этот переключатель определяет как производить проверку границы парсинга. Доступны следующие возможности.

• Не пустая
• Пустая
• Равна =
• Не равна !=
• Содержит %значение%
• Не содержит %значение%

Остановлюсь только на последних двух. Остальные вроде как по логике понятны.
Содержит %значение% - к примеру грузить если в границе прасинга есть слово Белый. К примеру поиск определенного слова в имени товара.
Не содержит %значение% - обратное правило, грузить товар если к примеру в границе нету слова Белый.

5. С чем сравнивать. Это поле нужно если вы хотите указать текст с которым вы хотите сравнивать, к примеру слово Белый из предыдушего примера нужно записать именно сюда.
6. Когда проверять, к примеру только при обновлении товара, или только при добавлении товара, или при добавлении и обновлении.
7. Поле для удобного выбора границы.
8. Удаления правила.

Правил может быть сколько угодно.

 

В случаи срабатывания правила в логах вы увидите отчет почему страница не загружена.

2020-05-14 11:51:03| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://svetavto.com.ua/led/protivitymanki/881-h27-pg13-6w-cob-5x1-5w-belyj-12v-c-p-21250.html
2020-05-14 11:51:03| !->[Страница НЕ обработана ] : Поскольку - Правило допуска [Тест-3] Содержит [svetavto.com.ua]

2020-05-14 13:01:26| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://svetavto.com.ua/led/protivitymanki/h1-p14-5s-13smd-5050-belaya-24v-c-p-21030.html
2020-05-14 13:01:26| !->[Страница НЕ обработана ] : Поскольку - Правило допуска [Тест-1] Не пустое

 

Тоже самое касается пред просмотра парсинга в ИМ.
Вам явно укажет что какое то правило заблокирует загрузку этой страницы.

Спойлер

 

А в отладочной информации сможете увидит подробнее.

Спойлер

Сценарии использования.
От себя я вижу основные сценарии использования.
1. Хорошо подойдет для определения есть ли товар в наличии и исходя из этого загружать его или нет.
2. Если нету возможности отсеять товар по бренду, а хочется грузить товар только определенного бренда.
3. Отсеять товары с определенным атрибутом.

4. Отсеять товары в которых нету фото, или нету артикула.

Как делать ненужно!!!
Я уже вижу как многие представили что теперь ненужно будет тонко настраивать сбор ссылок.
Теперь достаточно просто выбрать границу парсинга в которой указать артикул и выбрать правило проверки, Не пустое
И тогда модуль будет обрабатывать все ссылки с сайта а загружать только те на страницах которых есть артикул. Как удобно и ненужно настраивать сбор ссылок.
И вы правы это будет работать. Но делать так ненужно!!!
Есть специальный инструмент сбор ссылок вот его луче настройте. А такой подход использовать в крайних случаях когда действительно нет возможности разграничить страницы товара от других страниц.
Хоть это и удобно для вас, но модулю и вашему хостингу поплохеет от такого подхода. Вместо того что бы парсить к примеру 100 ссылок на товары и загрузить их вы будете скармливать все ссылки или массив с тысячами ссылок. А значить будете делать тысячи запросов на сайт донор и обрабатывать эти страниц, а это увеличение нагрузки на ваш сайт да и риск попасть в бан на сайте доноре.
Несмотря на то что это будет работать, пожалуйста не делайте так, что бы не было проблем.

 

Это равносильно что шурупы забивать молотком, все будет работать, и шурупы будут держать но луче взять шуруповерт для решения этой задачи.

 

Реализация такого подходя для тех кто парсить в CSV выйдет в следующих обновлениях.

Для обновления необходимо выполнить ./inst.php
 

Жду ваших комментариев, правда всю ночь писал так что могу уснуть

[hippvik]

Добрый день! А вот хотела спросить получится у меня спарсить товар с b2b  если у меня есть логин и пароль. вот такая ссылка на товар там

(https://b2b.antey.com.ua/?r=productCatalog/view&id=12032)

[Rassol2]

1 час назад, hippvik сказал:

Добрый день! А вот хотела спросить получится у меня спарсить товар с b2b  если у меня есть логин и пароль. вот такая ссылка на товар там

(https://b2b.antey.com.ua/?r=productCatalog/view&id=12032)

Вот инструкция можете попробовать авторизоваться и спрасить.
https://simplepars.top/index.php?page=note&note_id=29

 

В остальном проблем не вижу.

[partshez]

2 часа назад, Rassol2 сказал:

Обновление 3.5-1_beta

 

Парсинг в ИМ
Добавлена возможность отсевать страницы при парсинге, по разным параметрам.
 

Это то, что я лично давно ждал!!! Будем работать... Спасибо!

[Rassol2]

2 часа назад, partshez сказал:

Это то, что я лично давно ждал!!! Будем работать... Спасибо!

рад что вам нравится.

[mvchamor]

Подскажите, можно ли этим модулем спарсить контент с мультиязычного сайта где есть два языка но url не изменяется? Например у сайтов на опенкарт при изменении языка url зачастую не изменяется, как спарсить нужный контент?

[Rassol2]

25 минут назад, mvchamor сказал:

Подскажите, можно ли этим модулем спарсить контент с мультиязычного сайта где есть два языка но url не изменяется? Например у сайтов на опенкарт при изменении языка url зачастую не изменяется, как спарсить нужный контент?

С мультипольными сайтами есть проблема.
при парсинге нельзя сопоставить имена атрибутов на разных языках что бы правильно заполнить локализацию.
то же самое касается категорий и производителей.

Товары парсить в разные языки можно. То есть название и описание.
Что касаемо ссылки, значит язык устанавливается через куки, и в модуле такой вариант тоже предусмотрен.

[Yaroslavna]

Обновление 3.5-1_beta то, что доктор прописал. Именно этого мне и не хватало. Огромное спасибо

[partshez]

36 минут назад, RomanBohutskyi сказал:

У меня вопрос. Как в цене убрать пробел внутри цифр, а то цена обрезается.

Пробовал регулярными выражениями то не получается.

Прописываю вот так - {reg[#\s#]}|

Типу находит пробелы \s

Но не работает. Что то еще не дописал?

В замене. пробел заменить на пусто  ** |**

 

[Rassol2]

36 минут назад, RomanBohutskyi сказал:

У меня вопрос. Как в цене убрать пробел внутри цифр, а то цена обрезается.

Пробовал регулярными выражениями то не получается.

Прописываю вот так - {reg[#\s#]}|

Типу находит пробелы \s

Но не работает. Что то еще не дописал?

можно просто указать пробел вертикальная черта.
Или пойти от обратного удалить все кроме цифр и точки и запятой.
{reg[#[^0-9.,]#]}|

[Rassol2]

12 минут назад, RomanBohutskyi сказал:

Спасибо, работает.

Еще такая штука - Если мне товары все нужно спарсить в конкретную категорию и я по умолчанию выбираю категорию http://prntscr.com/shb0ks

То будет ли парсить в эту категорию?

Потому что в предпросмотре не показывают ту категорию - http://prntscr.com/shazmj

Да будет, если вот здесь не будет категорий.
 

Спойлер

По умолчанию это категория куда складывается товар если не отработали настройки парсинга категории.

[Rassol2]

2 минуты назад, RomanBohutskyi сказал:

Впервые столкнулся с проблемой такой. Собрал 53 ссылки на товары с html в конце. Столько же и на доноре. Настроил парсинг. Обработано ссылок: 53. В редакторе товаров их 49. Смотрю в редакторе товаров что товар один без картинки и без описания. Проверяю его ссылку на доноре, то картинка и описание присутствует. Ссылка донора есть в ссылках очереди. Проверяю на предпросмотр то нормально парсит картинку и описание. А в магазин спарсило без картинки и описания.

Как оказывается у донора два товара с одинаковым Код/Артикулом:

https://probicyclegroup.com/ramy/965-rama-29-pro-10-21.html

https://probicyclegroup.com/komponenty/1127-rama-29-pro-10-21-karbon-chern.html

И получается один товар добавило а вторым его обновило и заменило картинку и описание.

Если мне нужно как у донора? С одинаковым кодом и две страницы товара?

Тогда нужно сначала просто добавлять а не добавить/обновить, а потом редактировать проект и ставить добавить/обновить и выбрать идентификатор "Название товара".

@Rassol2, почему в таком случаи не рекомендуется брать идентификатор товара "Название"?

да можете так сделать.

Почему не рекомендуется.
Никто не гарантирует что имя товара будет уникальным.
А значит сли будет несколько товаров с одинаковым именем тогда модуль добавит только один из них. Если выбрано только добавлять. И это хорошо.
Но вдруг действие выбрано Обновлять ?
В данном случаи все товары с одинаковым именем будут обновлять один и тот же товар у вас. А тут уже как говорится к то последний тот и папа.
В итогде у вас будут данные в товаре от последнего товара с сайта донора с таким названием. Это мягко говоря неправильно.

данная возможность добавлена по многочисленным просьбам. Но рекомендовать ее как хорошее решения для идентификации товара я точно не могу.

[Rassol2]

2 часа назад, RomanBohutskyi сказал:

Немного спорный вопрос. Если одинаковое название товара, заголовок, то это дубли товара получается так как и артикул или модель.

Я вам описал почему не рекомендуется. Никто не гарантирует что в магазине по продаже гводей, все товары не будут называться просто ГВОЗДЬ
 

2 часа назад, RomanBohutskyi сказал:

Вы видели где то интернет магазин и чтобы одинаковые названия в товарах было?

Не один десяток.
Особенно сайты посвешенные мебели , дверям, и посуде.
 

2 часа назад, RomanBohutskyi сказал:

Это для сео неправильно

Все вопросы к авторам этих сайтов Не запрещено значит можно.

 

Не сравнивайте магазины с бюджетом в несколько миллионов американских, с магазинами от производителей которые штампуют товар в полуподвальных помещениях

Ведь их тоже парсят.
 

2 часа назад, RomanBohutskyi сказал:

Я например не видел два товара с одинаковым названием в нормально "правильных" интернет магазинов.

Вот это вы правильно написали, с этого нужно было начинать, но ведь парсят не только правильные. Вот по этому эта надпись будет в модуле.