[Поддержка] SimplePars - Універсальний парсер для ІМ

[Nameless]

 Всех с наступающими! Может кто-то решал подобную задачу: есть параметры по высоте в выгрузке, в зависимости от диапазона нужно отнести к той или иной группе, сходу регулярками такое решить не смог:

 

Спойлер

 

 В прайсе идут значения в см, через наценку я привожу сначала к общим значениям в мм (к стати кроме как через наценку это еще можно как то сделать)

[Axelenz]

58 минут назад, caspy сказал:

Скажите пожалуйста как удалить после # до конца текста на поиск замен?

#{.*}|

Удалит от # и до конца.

[Axelenz]

1 час назад, Nameless сказал:

В прайсе идут значения в см, через наценку я привожу сначала к общим значениям в мм (к стати кроме как через наценку это еще можно как то сделать)

Так, как Вы хотите сделать не получится. Математики в регулярках нет, там только логика.

[Nameless]

1 час назад, Nameless сказал:

 Всех с наступающими! Может кто-то решал подобную задачу: есть параметры по высоте в выгрузке, в зависимости от диапазона нужно отнести к той или иной группе, сходу регулярками такое решить не смог:

 

  Показать контент

 

 В прайсе идут значения в см, через наценку я привожу сначала к общим значениям в мм (к стати кроме как через наценку это еще можно как то сделать)

 

Вопрос решил так:

.|
{reg[#^(3[5-9])|(4[0-9])|(5[0-9])|(6[0-9])|(7[0-9])|(8[0-9])|(9[0-9])|(10[0-9])$#]}|Мужские
{reg[#^(1[0-9])|(2[0-9])|(3[0-4])$#]}|Женские

 

[Axelenz]

10 минут назад, Nameless сказал:

Вопрос решил так:

{reg[#^([1-2][0-9])|(3[0-4])$#]}|Женские

{reg[#^(3[5-9])|([4-9][0-9])|(10[0-9])$#]}|Мужские
 

Так будет немного покороче...

Змінено 29 грудня 2021 користувачем Axelenz

[Vorodisa]

решено

Змінено 29 грудня 2021 користувачем Vorodisa

[shaulyn]

подскажите я спарсил ссылки(в прогрессе пишет что собрано 5755 ссылок) но в блоке ссылки на товар всего 4999, если я буду их добавлять уже в ИМ они все добавятся или нет?

[Axelenz]

2 минуты назад, shaulyn сказал:

подскажите я спарсил ссылки(в прогрессе пишет что собрано 5755 ссылок) но в блоке ссылки на товар всего 4999, если я буду их добавлять уже в ИМ они все добавятся или нет?

Найдено может быть одно количество, но потом они фильтруются на дубли, отсеивается то, чего не должно быть в ссылках и пр.

[partshez]

26 минут назад, shaulyn сказал:

подскажите я спарсил ссылки(в прогрессе пишет что собрано 5755 ссылок) но в блоке ссылки на товар всего 4999, если я буду их добавлять уже в ИМ они все добавятся или нет?

В прогрессе 5755. Нажмите Стоп/ пауза парсинга и в ссылках на товар появится 5755 ссылок. Под этим окном обязательно Сохранить ссылки

[Rassol2]

5 часов назад, Mixxxa163 сказал:

SKU - артикул присвоен каждому товару, он уникален, и отражен атрибутом в характеристиках донора. в настройках выбрал только SKU для связи сопут. товары - но происходит то, что описал выше.

Да, использую отключение, но оно не влияет на индексацию выходит так..

 

Здравствуйте.
Вы уверены что прочли внимательно инструкцию к сопутствующим товарам.

https://simplepars.top/index.php?page=note&n=51

Так как там написано что артикула которые должны быть добавлены в сопутствующие товары должны быть записаны через ;

И нужно указать поле в котором они записаны, а дальше модуль сам возьмет и свяжет их.
Но вы указали поле sku а я сомневаюсь что в этом поле у вас записан список артикулов а не один артикул конкретного товара как это обычно.

А если там только один товар, тогда вы получаете связь с одни товаром.
Одним словом перечитайте внимательнее инструкцию к данному функционалу.

 

[Rassol2]

52 минуты назад, shaulyn сказал:

подскажите я спарсил ссылки(в прогрессе пишет что собрано 5755 ссылок) но в блоке ссылки на товар всего 4999, если я буду их добавлять уже в ИМ они все добавятся или нет?

И еше не забывайте что в на странице сбора ссылок есть настройка которая говорит сколько ссылок выводить. По умолчанию 5000
Это связано с тем что браузеру жутко сложно отрисовать вам сразу по 50 000 - 100 000 ссылок на одной странице.
И если у вас 10 000 ссылок а выводится только 5000 , и вы нажмете на кнопку сохранить ссылки в список, то у вас сохранятся только те ссылки которые были выведены в списке (в окне) А именно 5000.
Не забываем про этот нюанс.

[shaulyn]

А подскажите кто какие настройки использует для парсинга, потоков и таймаутом...сайт блочит упорно, уже несколько прокси заблочил, на этих прокси можно разориться, пока спарсишь))) и посоветуйте кто где прокси закупает по хорошим тарифам

Змінено 30 грудня 2021 користувачем shaulyn

[kamrik]

1 час назад, shaulyn сказал:

А подскажите кто какие настройки использует для парсинга, потоков и таймаутом...сайт блочит упорно, уже несколько прокси заблочил, на этих прокси можно разориться, пока спарсишь))) и посоветуйте кто где прокси закупает по хорошим тарифам

Отвечал мне как-то автор на этот вопрос. Я даже сохранил в заметках: «

Не включаете 5 потоков если вы не уверены что сайт донор проглотит такой трафик, и имейте уважение к другим владельцам магазина.
Ведь их сайты начинают тормозить когда вы парсите их и тем самым выедаете ресурсы.
Ресурсы которые донор мог бы потратить на отдачу информации потенциальному покупателю.
 
2. Используйте паузу парсинга.
Поставьте хотя бы диапазон от 0-5 и модуль на каждый запрос будет хаотично выбирать паузу.
То есть пауза
то нет
то пауза в 2 секунды
то пауза в 5 секунд
то в одну.
то снова без паузы.

Имитировать хоть какой то разброс в действиях.
 
3. Используйте кЭш!!!
SimplePars поддерживает кэширования, но я заметил что сейчас никто не использует его.
После выхода этой функции все использовали а сейчас почему то нет.
Смотрите, когда у вас включен кэш, и вы парсите, вы делаете запрос на сайт донор, получаете страницу, модуль ее сохраняет к себе.
Далее выполняет все что вам нужно.
Но если вы что то сделали не так, вы исправляете настройки и снова запускаете парсинг, то модуль уже не долбит вашего донора, а берет данные из архива.
Тем самым вы сокращаете риск попадании в бан к минимуму. Дак еще и + скорость работы раз в 100 увеличивается.
Это когда данные берутся из кэша и кстати из кеша можно парсить в 5 потоков, так как вы берете данные из самого себя.
Я искренен не понимаю почему сейчас это никто не использует.
РЕКОМЕНДУЮ.

4. Если у вас не горят сроки, выставьте задание в крон.
Поставьте паузу в пару секунд.
Включите кэш и пусть ночью все медленно будет сделано.
А если утром обнаружите неправильные настройки, все всегда сможете быстро перепарсить с кэша. Это же идеальный вариант.
 
Ну а если вы уже были пойманы. Тут все печально.
Печально потому что мы не знаем за какие параметры вас ставят на карандаш и дальше нужно подделывать запросы что бы обойти блокировку.
А это уже играй в угадайку. Неизвестно сможете вы угадать или нет.»

[shaulyn]

22 минуты назад, kamrik сказал:

Отвечал мне как-то автор на этот вопрос. Я даже сохранил в заметках: «

Не включаете 5 потоков если вы не уверены что сайт донор проглотит такой трафик, и имейте уважение к другим владельцам магазина.
Ведь их сайты начинают тормозить когда вы парсите их и тем самым выедаете ресурсы.
Ресурсы которые донор мог бы потратить на отдачу информации потенциальному покупателю.
 
2. Используйте паузу парсинга.
Поставьте хотя бы диапазон от 0-5 и модуль на каждый запрос будет хаотично выбирать паузу.
То есть пауза
то нет
то пауза в 2 секунды
то пауза в 5 секунд
то в одну.
то снова без паузы.

Имитировать хоть какой то разброс в действиях.
 
3. Используйте кЭш!!!
SimplePars поддерживает кэширования, но я заметил что сейчас никто не использует его.
После выхода этой функции все использовали а сейчас почему то нет.
Смотрите, когда у вас включен кэш, и вы парсите, вы делаете запрос на сайт донор, получаете страницу, модуль ее сохраняет к себе.
Далее выполняет все что вам нужно.
Но если вы что то сделали не так, вы исправляете настройки и снова запускаете парсинг, то модуль уже не долбит вашего донора, а берет данные из архива.
Тем самым вы сокращаете риск попадании в бан к минимуму. Дак еще и + скорость работы раз в 100 увеличивается.
Это когда данные берутся из кэша и кстати из кеша можно парсить в 5 потоков, так как вы берете данные из самого себя.
Я искренен не понимаю почему сейчас это никто не использует.
РЕКОМЕНДУЮ.

4. Если у вас не горят сроки, выставьте задание в крон.
Поставьте паузу в пару секунд.
Включите кэш и пусть ночью все медленно будет сделано.
А если утром обнаружите неправильные настройки, все всегда сможете быстро перепарсить с кэша. Это же идеальный вариант.
 
Ну а если вы уже были пойманы. Тут все печально.
Печально потому что мы не знаем за какие параметры вас ставят на карандаш и дальше нужно подделывать запросы что бы обойти блокировку.
А это уже играй в угадайку. Неизвестно сможете вы угадать или нет.»

Понял спасибо, попробую так, а если я например купил 20 прокси, мне их сразу загружать или по одному? Парсер рандомно выбирает прокси через который будет парсить из списка прокси?

[partshez]

39 минут назад, shaulyn сказал:

Понял спасибо, попробую так, а если я например купил 20 прокси, мне их сразу загружать или по одному? Парсер рандомно выбирает прокси через который будет парсить из списка прокси?

В порядке очереди в прокси. Берет 1, потом 2.... 20, опять 1, 2...

Змінено 30 грудня 2021 користувачем partshez

[shaulyn]

Блин кароче все проще оказалось, у сайта оказался есть сайтмап где все товары выгружены, я их подгрузил и не надо было сканить весь сайт, указывать html код в какой области парсить, через сайтмап за пару секунд получил все ссылки:)

Змінено 30 грудня 2021 користувачем shaulyn

[partshez]

Всех с наступающим! Удачи, здоровья и всего хорошего!

[yastman]

Добрый вечер. 
Столкнулся с проблемой. 
вначале парсю рус версию потом ,укр версию. В укр версии стоит проверка границ, если название пустое то, обновлять, но в части товарах в укр версии название пустое , а проверки срабатывает некорректно и пропускает такой товар , есть подозрение , что проверка границы идёт рус версии, даже если язык в Настройках выбран укр. 

 

Есть способ сделать , чтобы проверка границы, была зависима от языка ? 
 

Змінено 1 січня 2022 користувачем yastman

[Flint2000]

31 хвилину назад, yastman сказав:

Есть способ сделать , чтобы проверка границы, была зависима от языка ? 

Ну так нужно собрать страницьі донора украинской версии

[yastman]

1 час назад, Flint2000 сказал:

Ну так нужно собрать страницьі донора украинской версии

Собраны 

если ставлю режим обновления без проверки границ , все ок , название товара обновляются , все ок. 
 

Тут проблема в проверки границ. 
правило не срабатывает , при выборе языка второго языка в настройках Парсинга. 

Змінено 1 січня 2022 користувачем yastman

[Rassol2]

14 часов назад, yastman сказал:

Добрый вечер. 
Столкнулся с проблемой. 
вначале парсю рус версию потом ,укр версию. В укр версии стоит проверка границ, если название пустое то, обновлять, но в части товарах в укр версии название пустое , а проверки срабатывает некорректно и пропускает такой товар , есть подозрение , что проверка границы идёт рус версии, даже если язык в Настройках выбран укр. 

 

Есть способ сделать , чтобы проверка границы, была зависима от языка ? 
 

Здравствуйте.
В модуле есть функция кеширование при парсинге.
Включаете ее, и запускаете парсинг, все страницы которые обработаны будут закешированы.
Затем находите страницу которая по вашему мнению не должна была загрузится но модуль ошибся (якобы!)
Бете ссылку на этот товар и вставляете в окно пред просмотра, или поиск замены и смотрите, действительно ли там пусто или действительно ли модуль по этой границе ошибся.
Как правило когда мне такое пишут оказывается что все же в границе загружены данные которые пользователь не ожидал увидеть, но проверка отрабатывает правильно.

[Rassol2]

14 часов назад, yastman сказал:

Есть способ сделать , чтобы проверка границы, была зависима от языка ?

Да можно сделать разные проверки и включать их в зависимости от языка с которым работаете.
Либо в поиск замене написать правила замены данных на двух языках и если правила отработали и заменили содержимое на какое то значение и проверку делать именно по этому значению.

 

Пример, грузим только товар где в границе есть слово Стол или Стiл

Делаем правило замены
Стол|1

Стiл|1
А в правилах допуска проверяем если граница равна цифре один грузим, если нет отбрасываем.

 

Одним словом да можно сделать, все зависит от вашей фантазии, придумайте вариант который вас устроит, я вам описал один пример.
Дальше только фантазия )

[Ura_bolt]

Всем здравствуйте. Есть здесь специалисты которые за денежку могут настроить запросы для двух сайтов? Сейчас парсер страницы не подгружает, стоит какая-то блокировка. Нужно настроить только запросы, сам парсинг настраивать не нужно, вроде как разобрались. Не знаю можно ли здесь указывать ссылки, поэтому если кому-то будет интересно, пишите в личку. Спасибо 

[jjoni]

Подскажите, а этим модулем можно спарсить категории донора и автоматически создать у себя на сайте (с учетом тэгов)?

[Rassol2]

2 минуты назад, jjoni сказал:

Подскажите, а этим модулем можно спарсить категории донора и автоматически создать у себя на сайте (с учетом тэгов)?

Здравствуйте.

Спарсить и создать категории можно.

Модуль берет данные о категориях из хлебных крошек сайта.
 

Спойлер

А вот по поводу тегов нужно пояснение, что именно вы имеете в виду.