[Поддержка] SimplePars - Універсальний парсер для ІМ

[Kazumi]

Ребят, кому нужно регулярки составить для парсинга, создавайте вопрос здесь - https://ru.stackoverflow.com/. Мне и составили, и объяснили как работают, просто за плюс в карму)

[Rassol2]

Интересные решения

Недавно пришла просьба такого типа.
 

Спойлер

Я отказал в поиске такой регулярки, поскольку мне это задача показалась сильно сложной.
Сегодня пользователь написал что он нашел регулярку, она адава сложная, если пользователь захочет сам покажет ее.
Поскольку пользователь проделал работу сам и нашел решение для себя, я решил что стоит тоже попробовать найти решение этой ситуации, как то проше.

Вот мой вариант. Комбинируем возможности модуля.
Делаем границу парсинга которая парсит цену.

Затем начинаем делать наценку. Да да именно наценку по вот этим правилам - https://simplepars.top/index.php?page=note&n=4

В данном случаи пользователь хочет отсеет товар который по цене от 15000 и больше. Значит делаем так.
(15000-1000000)*0 - это значит что если цифра будет от 15000 и до 1 000 000 модуль умножит цену на 0 а как все знают из школьного курса при умножении на ноль всегда будет ноль.

Пример цены равной 15000

Спойлер

 

А теперь пример цена меньше 15000

Спойлер

Это значит если цена товара попадает в диапазон она становится нулем, а если нет то наценки не применить к ней, и цена останется прежней.

Теперь переходим к допуску на парсинг.
 

Спойлер

А это значит, обработай страницу только в том случаи если цена будет не равна 0
Таким образом мы добились нужного результата.

А главное теперь можно легко менять диапазоны цен не вникая в регулярки.

Ну и сам результат.

Спойлер

Как то так можно решать вопрос допуска к парсинга страниц с определенной ценой на товар.

[Kazumi]

7 minutes ago, Rassol2 said:

Интересные решения

Недавно пришла просьба такого типа.
 

  Reveal hidden contents

Я отказал в поиске такой регулярки, поскольку мне это задача показалась сильно сложной.
Сегодня пользователь написал что он нашел регулярку, она адава сложная, если пользователь захочет сам покажет ее.
Поскольку пользователь проделал работу сам и нашел решение для себя, я решил что стоит тоже попробовать найти решение этой ситуации, как то проше.

Вот мой вариант. Комбинируем возможности модуля.
Делаем границу парсинга которая парсит цену.

Затем начинаем делать наценку. Да да именно наценку по вот этим правилам - https://simplepars.top/index.php?page=note&n=4

В данном случаи пользователь хочет отсеет товар который по цене от 15000 и больше. Значит делаем так.
(15000-1000000)*0 - это значит что если цифра будет от 15000 и до 1 000 000 модуль умножит цену на 0 а как все знают из школьного курса при умножении на ноль всегда будет ноль.

Пример цены равной 15000

  Reveal hidden contents

 

А теперь пример цена меньше 15000

  Reveal hidden contents

Это значит если цена товара попадает в диапазон она становится нулем, а если нет то наценки не применить к ней, и цена останется прежней.

Теперь переходим к допуску на парсинг.
 

  Reveal hidden contents

А это значит, обработай страницу только в том случаи если цена будет не равна 0
Таким образом мы добились нужного результата.

А главное теперь можно легко менять диапазоны цен не вникая в регулярки.

Ну и сам результат.

  Reveal hidden contents

Как то так можно решать вопрос допуска к парсинга страниц с определенной ценой на товар.

ппц, ВАУ

[Rassol2]

6 минут назад, Kazumi сказал:

ппц, ВАУ

До сегодняшнего дня я тоже думал что нельзя сделать допуск прасингу в зависимости от цены.
А теперь можно сделать допуск парсинга который будет зависит от любых диапазонов цифр.

Хоть:

• Цена
• Количество
• Значение в атрибуте
• Даже артикула если они будут упорядоченные и цифирные
• короче все что циферное и упорядоченное.

Все можно загонять под эту схему и фильтровать.
Для самого открытие стало

[Zetx]

не получается собрать ссылки ... запускаю, выдает, что "Сбор ссылок завершен", но сами ссылки не складываются ... в логе - Парсинг : ОШИБКА запроса  | Код ошибки = 28 | Текст ошибки = Operation timed out after 15003 milliseconds with 0 bytes received

тоесть, насколько я понял, то модулю не хватает времени собрать ссылки ... в сборе ссылок паузу выставлял разную, но не помогло ... как можно увеличить это время, и собственно где?

Змінено 4 грудня 2020 користувачем Zetx

[Rassol2]

не получается собрать ссылки ... запускаю, выдает, что "Сбор ссылок завершен", но сами ссылки не складываются ... в логе - Парсинг : ОШИБКА запроса  | Код ошибки = 28 | Текст ошибки = Operation timed out after 15003 milliseconds with 0 bytes received
тоесть, насколько я понял, то модулю не хватает времени собрать ссылки ... в сборе ссылок паузу выставлял разную, но не помогло ... как можно увеличить это время, и собственно где?

Время можно увеличить в настройках запроса.

Отправлено с моего телефона Pixel через Tapatalk

[Zetx]

2 минуты назад, Rassol2 сказал:

Время можно увеличить в настройках запроса.

Отправлено с моего телефона Pixel через Tapatalk
 

хм., сработало! я туда заходил, но подумал, что эти настройки лишь для прокси 

[Rassol2]

3 часа назад, Zetx сказал:

хм., сработало! я туда заходил, но подумал, что эти настройки лишь для прокси 

Все что там относится к настройке запросов к сайту донору, а прокси это только часть этих настроек.

[Rassol2]

Обновление 4.0-14_beta

В данном обновлении исправил все недочеты о которых вы сообщили.
Если у вас бета версия рекомендую обновится до 14 бетки.
 

[Pro100safoki]

Есть таблица с ценами от поставщика, как обновить можно цены на товар у себя на сайте при помощи этого модуля?Есть таблица с ценами от поставщика, как обновить можно цены на товар у себя на сайте при помощи этого модуля?

[Rassol2]

1 минуту назад, Pro100safoki сказал:

Есть таблица с ценами от поставщика, как обновить можно цены на товар у себя на сайте при помощи этого модуля?Есть таблица с ценами от поставщика, как обновить можно цены на товар у себя на сайте при помощи этого модуля?

Здравствуйте.
не совсем понятно что вы имеете в виде под словом таблица.
Покажите что у вас и что вам нужно и тогда я смогу ответить.

[Pro100safoki]

11 часов назад, Rassol2 сказал:

Здравствуйте.
не совсем понятно что вы имеете в виде под словом таблица.
Покажите что у вас и что вам нужно и тогда я смогу ответить.

Поставщик дает Exel таблицу в форматах (csx, xls), где есть название товара, цена, наличие, артикул и т.д.
Задача: обновить цены и наличие на своем сайте, при помощи модуля. 
Есть такая возможность? 

[Kiyoshi]

8 минут назад, Pro100safoki сказал:

Поставщик дает Exel таблицу в форматах (csx, xls), где есть название товара, цена, наличие, артикул и т.д.
Задача: обновить цены и наличие на своем сайте, при помощи модуля. 
Есть такая возможность? 

Здравствуйте модуль не работает с прайс листами так как он ориентирован на парсинг с самого сайта или торгового фида для обновления с пайс листа вам подойдет

или любой другой модуль который работает с прайс листами.

Змінено 6 грудня 2020 користувачем Kiyoshi

[asokr]

Здравствуйте. После последнего обновления (SimplePars v4.0-12_beta) модуль при парсинге виснет около 5-6 раз (6000 товаров) в ручном режиме, и виснет при парсинге по крону (до этого парсил норм). В логах, последний товар

2020-12-08 02:56:37| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] 

 

Крон

 

 

 

В чём может быть причина? Как исправить?

Змінено 8 грудня 2020 користувачем asokr

[Flint2000]

19 хвилин назад, asokr сказав:

В чём может быть причина? Как исправить?

Чего гадать, обновитесь сначала на актуальную бетку

[Rassol2]

23 минуты назад, asokr сказал:

В чём может быть причина? Как исправить?

может быть в бета, обновите до послдней, я постоянно фикшу баги. И если вы используете ветку бета будьте готовы что там могут стречатся проблемы.
Все проверяю только на последней бета.
Если после обновления останется пишите проверю.

[ArtemZH]

Поискал по теме, не нашел, но может спрашивал не точно))
Есть ли возможность парсить количество и цену после авторизации и положить ее в поле cost(модуль по-моему это какой-то), а без авторизации от туда же розничную? одним глазом увидел что есть потоки Парсинга, а может и одновременно сможет закупочную и розничную парсить  и сразу все на сайт?

Вводные: просто на сайте без авторизации цены розница, после авторизации цены закупочные, ну и количество везде одинаковое.

[partshez]

29 минут назад, ArtemZH сказал:

Поискал по теме, не нашел, но может спрашивал не точно))
Есть ли возможность парсить количество и цену после авторизации и положить ее в поле cost(модуль по-моему это какой-то), а без авторизации от туда же розничную? одним глазом увидел что есть потоки Парсинга, а может и одновременно сможет закупочную и розничную парсить  и сразу все на сайт?

Вводные: просто на сайте без авторизации цены розница, после авторизации цены закупочные, ну и количество везде одинаковое.

Скорее всего при авторизации на сайте увидите розничную и закупочную цену. 

Настроить границы и положить в нужные поля в карточке товара. Проблема в другом. Только одну цену сможете положить в карточку товара (основная и акционная). А закупочную цену в какое поле? Можно положить в одно из доп полей  http://prntscr.com/vy9510

Поле Цена закупки отсутствует в стандартном Опенкарт http://prntscr.com/vy989x  Для того, чтобы положить закупочную цену в это поле, скорее всего, нужна доработка

Змінено 8 грудня 2020 користувачем partshez

[asokr]

22 hours ago, asokr said:

Здравствуйте. После последнего обновления (SimplePars v4.0-12_beta) модуль при парсинге виснет около 5-6 раз (6000 товаров) в ручном режиме, и виснет при парсинге по крону (до этого парсил норм). В логах, последний товар

2020-12-08 02:56:37| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] 

 

Крон

 

 

 

В чём может быть причина? Как исправить?

 

 

Обновился до SimplePars v4.0-14_beta, проблема осталась. (еще менял чтобы опции обновлялись, в старых версиях такого не было - опции удалялись, потом парсились заново, сейчас стоит - обновлять опции - может из за этого...но, собственно, парсинг и на самой последней версии зависает.)

[Rassol2]

 
 
Обновился до SimplePars v4.0-14_beta, проблема осталась. (еще менял чтобы опции обновлялись, в старых версиях такого не было - опции удалялись, потом парсились заново, сейчас стоит - обновлять опции - может из за этого...но, собственно, парсинг и на самой последней версии зависает.)

Ок напишите в ЛС доступ к фтп и админке. И напишите какой проект вы запускаете.
Ближе к 12 смогу все проверить.

Отправлено с моего телефона Pixel через Tapatalk

[nebo]

23 hours ago, asokr said:

Здравствуйте. После последнего обновления (SimplePars v4.0-12_beta) модуль при парсинге виснет около 5-6 раз (6000 товаров) в ручном режиме, и виснет при парсинге по крону (до этого парсил норм). В логах, последний товар

2020-12-08 02:56:37| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] 

 

Крон

 

 

 

В чём может быть причина? Как исправить?

 

Подтверждаю. 1890 товаров парсю 3 суток в ИМ. Бывает спарсит один товар и стоит (процесс типа идет, но товар не добавляется в ИМ), а бывает штук 5 и также - перестает добавлять, хотя отображается как в процессе (полоска есть и индикатор - Спарсено: 1324 | В очереди: 566 | Осталось ~ 01:27:32), но не парсит. Сижу с открытым окном и постоянно жму кнопку "Старт парсинга".

Нажал - спарсило 2 товара и стоит. Снова нажал - снова +2-3 товара и стоит.. 

Версия:  SimplePars v4.0-13_beta

 

Обновился до 14ой - также.

Змінено 9 грудня 2020 користувачем nebo

[helen2014]

У донора вывод атрибутов сделан в акардионе и еще с подсказками.

Как скрыть подсказки.

Так она выглядит:

<button type="button"
      class="info-btn"
      data-toggle="popover"
      data-trigger="click"
      data-dismiss="popover"
      title="Вес, кг"
      data-html="true"
      data-content="<div><!--noindex-->Вес товара без упаковки<!--/noindex--></div>">
     ?
</button>

Как скрыть со всем содержимым в <button ?

[Rassol2]

4 часа назад, nebo сказал:

 

Подтверждаю. 1890 товаров парсю 3 суток в ИМ. Бывает спарсит один товар и стоит (процесс типа идет, но товар не добавляется в ИМ), а бывает штук 5 и также - перестает добавлять, хотя отображается как в процессе (полоска есть и индикатор - Спарсено: 1324 | В очереди: 566 | Осталось ~ 01:27:32), но не парсит. Сижу с открытым окном и постоянно жму кнопку "Старт парсинга".

Нажал - спарсило 2 товара и стоит. Снова нажал - снова +2-3 товара и стоит.. 

Версия:  SimplePars v4.0-13_beta

 

Обновился до 14ой - также.

Здравствуйте.
напишите так же доступы в ЛС буду проверять .

[Rassol2]

1 час назад, helen2014 сказал:

У донора вывод атрибутов сделан в акардионе и еще с подсказками.

Как скрыть подсказки.

Так она выглядит:

<button type="button"
      class="info-btn"
      data-toggle="popover"
      data-trigger="click"
      data-dismiss="popover"
      title="Вес, кг"
      data-html="true"
      data-content="<div><!--noindex-->Вес товара без упаковки<!--/noindex--></div>">
     ?
</button>

Как скрыть со всем содержимым в <button ?

Вырезать ненужную часть через поиск замену.
https://simplepars.top/index.php?page=note&n=9

[Rassol2]

5 часов назад, nebo сказал:

Обновился до 14ой - также.

Убедитесь что вы обновили верно модуль.
Так как сейчас проверяю другого пользователя и он при обновлении модуля не выполнили ./inst.php