[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

  В 19.01.2022 в 18:29, egortide сказав:

Добрый день, скажите пожалуйста подробнее про прокси и потоки. Я правильно понимаю, что если взять 5 прокси и поставить 5 потоков, то: с одного айпи произойдет 5 запросов, потом пауза (если она стоит), потом с другого айпи 5 запросов и так далее? 

Каким путем выявить наиболее эффективное значение: кол-во прокси/кол-во потоков/пауза в секундах, чтобы парсить быстрее и не быть забаненным? 

Expand  

Это философский вопрос так как вы его здаете людям которые не имеют отношение к ограничениям которая установлены на вашем хостинге.
можно перефразировать вопрос.

 

Какой более эффективный подход для ограбления банка.

Если бы я знал ....

 

Суть такова, закручиваете гайки по максимуму, и потихоньку отпускаете их пока не найдете тот предел за который вас начинают банить.
Затем берете паузу, или прокси, отступаете от этого придела так что бы вас не банили, и работаете.

И помните, что большая скорость при парсинге, это большая нагрузка на донор. А нагрузка это деньги владельца донора. А парой даже хостинги впрягаются поскольку аномальная нагрузка в не тарифного плана не устраивает да же их.

[egortide]

  В 20.01.2022 в 04:14, Rassol2 сказав:

Это философский вопрос так как вы его здаете людям которые не имеют отношение к ограничениям которая установлены на вашем хостинге.
можно перефразировать вопрос.

 

Какой более эффективный подход для ограбления банка.

Если бы я знал ....

 

Суть такова, закручиваете гайки по максимуму, и потихоньку отпускаете их пока не найдете тот предел за который вас начинают банить.
Затем берете паузу, или прокси, отступаете от этого придела так что бы вас не банили, и работаете.

И помните, что большая скорость при парсинге, это большая нагрузка на донор. А нагрузка это деньги владельца донора. А парой даже хостинги впрягаются поскольку аномальная нагрузка в не тарифного плана не устраивает да же их.

Expand  

Спасибо, буду пробовать! Самый сложный модуль, который я осваивал, и функционал тут просто огромный, спасибо еще раз!

[nikeforce111]

Добрый день, подскажите как убрать дублирование цены {204} и цены акции {240} при парсинге на сайте.    — товар с акцией

                 — товар без акции

якобы если цена и цена акции одинаковые, то акция не добавляется, вот настройки в админке

а вот отображение на сайте

 

 

[egortide]

  В 20.01.2022 в 09:36, nikeforce111 сказав:

Добрый день, подскажите как убрать дублирование цены {204} и цены акции {240} при парсинге на сайте.    — товар с акцией

                 — товар без акции

якобы если цена и цена акции одинаковые, то акция не добавляется, вот настройки в админке

а вот отображение на сайте

 

 

Expand  

используй логические операторы https://simplepars.top/index.php?page=note&n=50

[nikeforce111]

  В 20.01.2022 в 09:44, egortide сказав:

используй логические операторы https://simplepars.top/index.php?page=note&n=50

Expand  

спасибо, буду разбираться

[egortide]

  В 20.01.2022 в 09:45, nikeforce111 сказав:

спасибо, буду разбираться

Expand  

там легко логику сделать:
в цену записывай : data-price
в акцию такая логика: {if[{data-price}{>}{data-discount-price}]}data-discount-price{else}

если data-price будет больше data-discount-price , то в акцию запишется data-discount-price, если нет , то ничего не запишется

Змінено 20 січня 2022 користувачем egortide

[Reanimaster]

Добрый день. Когда то спрашивал, не могу найти в теме.

Как сделать что бы поле Model могло быть использовано при обновлении?

Тобишь не создавалось, а если есть уже товар с таким модел - он обновлялся?

Спасибо.

[egortide]

  В 20.01.2022 в 09:49, Reanimaster сказав:

Добрый день. Когда то спрашивал, не могу найти в теме.

Как сделать что бы поле Model могло быть использовано при обновлении?

Тобишь не создавалось, а если есть уже товар с таким модел - он обновлялся?

Спасибо.

Expand  

По-моему в импорте в ИМ нужно установить это:

Змінено 20 січня 2022 користувачем egortide

[Rassol2]

  В 20.01.2022 в 09:49, Reanimaster сказав:

Добрый день. Когда то спрашивал, не могу найти в теме.

Как сделать что бы поле Model могло быть использовано при обновлении?

Тобишь не создавалось, а если есть уже товар с таким модел - он обновлялся?

Спасибо.

Expand  

Выберите использовать model как идентификатор товара.
И модуль будет по этому полю определять товары.

[Rassol2]

  В 20.01.2022 в 09:36, nikeforce111 сказав:

Добрый день, подскажите как убрать дублирование цены {204} и цены акции {240} при парсинге на сайте.    — товар с акцией

                 — товар без акции

якобы если цена и цена акции одинаковые, то акция не добавляется, вот настройки в админке

а вот отображение на сайте

 

 

Expand  

Даже защёл проверил у себя.
А вы уверены что оба значения идентичны ?
Потому что я сперва создал товар с указанием цены равной 100 и акции равной 100 и модуль не создал ничего.
Затем проверил обновление и то же самое. Модуль не создает акционную цену если она равна цене товара.

Вы уверены что в границах одинаковое значение ?

[Reanimaster]

  В 20.01.2022 в 09:52, Rassol2 сказав:

Выберите использовать model как идентификатор товара.
И модуль будет по этому полю определять товары.

Expand  

Да. Я тупанул. Парсить не поставил режим.
А еще вопрос. Как сделать режим парсинга описания - если пустое?

Только не скриптами. Потому как скрипты в 1 поток. Удобно, но долго.
Благодарю

[Rassol2]

  В 20.01.2022 в 09:58, Reanimaster сказав:

Да. Я тупанул. Парсить не поставил режим.
А еще вопрос. Как сделать режим парсинга описания - если пустое?

Только не скриптами. Потому как скрипты в 1 поток. Удобно, но долго.
Благодарю

Expand  

Такого нет.
Нет ни одного режима где модуль определяет что ему парсить в товар а что нет, опираясь на данные которые уже существуют или нет в товаре.
вы можете указать модулю обновить то или иное значения в товарах, но не можете задать обновление при условии отсутствия описания в товаре.

[Reanimaster]

  В 20.01.2022 в 10:02, Rassol2 сказав:

вы можете указать модулю обновить то или иное значения в товарах, но не можете задать обновление при условии отсутствия описания в товаре.

Expand  

 

Понял. Спасибо.
И последнее назрело.

Кодировка UTF-16+BOM.

Сложно добавить поддержку?

[Rassol2]

  В 20.01.2022 в 10:10, Reanimaster сказав:

 

Понял. Спасибо.
И последнее назрело.

Кодировка UTF-16+BOM.

Сложно добавить поддержку?

Expand  

Да сложно.

[Reanimaster]

  В 20.01.2022 в 10:13, Rassol2 сказав:

Да сложно.

Expand  

Понял. Спасибо.

[nikeforce111]

  В 20.01.2022 в 09:58, Rassol2 сказав:

Даже защёл проверил у себя.
А вы уверены что оба значения идентичны ?
Потому что я сперва создал товар с указанием цены равной 100 и акции равной 100 и модуль не создал ничего.
Затем проверил обновление и то же самое. Модуль не создает акционную цену если она равна цене товара.

Вы уверены что в границах одинаковое значение ?

Expand  

да, вот опять проверил в коде и сами границы 

[Rassol2]

  В 20.01.2022 в 10:17, nikeforce111 сказав:

да, вот опять проверил в коде и сами границы 

Expand  

меня интересует в границе париснга а не в коде.
к примеру, возьмите одну границу парсинга которая отвечает за цену, и запищите её же в акции. И обновите пару товаров. Что будет ?
Что в логах модуль напишет.

[vsevdom03]

Всем здравствуйте! Нужна помощь знатоков.
Начал учиться парсить товары с сайта поставщиков, но столкнулся со следующими проблемами:
1. Не все фотографии загружаются, заметил в каких случаях, если в ссылке на фото есть resize_cache/, то такое фото без проблем добавляется в товар, а если фото без этой папки, со ссылкой по формату https://nsk.richfamily.ru/upload/iblock/63b/resized_280543_3.jpg , как мы видим тут после папки upload/ сразу идет папка iblock/ , в этом случае фото в товар не добавляется, хотя само фото по полной ссылке легко открывается. На скриншоте обратите внимание на то, что там всего 1 фотография, а по факту в разделе фото у нас 3 ссылки, вот они, только пробел поставил после "." в домене, а то сайт тут сразу загружается эти фото и ссылки пропадают.

https://nsk.richfamily. ru/upload/resize_cache/iblock/52c/900_1200_2/280543.jpg

https://nsk.richfamily. ru/upload/iblock/ff4/resized_280543_2.jpg

https://nsk. richfamily.ru/upload/iblock/63b/resized_280543_3.jpg
Что нужно сделать, чтобы все типы ссылок подходили для парсинга?

2. На скриншоте из парсинга я показал как выглядят атрибуты, все по порядку и ровно так, как мне нужно, так же как у сайта донора, а вот дальше 2 фотографии - это уже с нашего сайта, там все атрибуты перемешиваются и добавляются какие то стандартные названия для характеристик, такие как: Основные характеристики, характеристики, дополнительно. Этого в исходном варианте у нас нет. Подскажите пожалуйста что сделать для того, чтобы всё грузилось как в списке атрибутов и без доп названий. Заранее спасибо за ответ! 

  Показати вміст

 

 

 

Змінено 20 січня 2022 користувачем vsevdom03

[Axelenz]

  В 20.01.2022 в 12:45, vsevdom03 сказав:

Начал учиться парсить товары с сайта поставщиков

Expand  

Замечательно. Шаг второй - учимся прятать свои длинные простыни, как делают все на форуме:

  Показати вміст

простыни прячем сюда, в спойлер

 

[Axelenz]

  В 20.01.2022 в 12:45, vsevdom03 сказав:

https://nsk.richfamily. ru/upload/resize_cache/iblock/52c/900_1200_2/280543.jpg

Expand  

Тут убираем не нужное и получаем оригинал фото по ссылке:

https://nsk.richfamily.ru/upload/iblock/52c/280543.jpg

 

Фактически Вам подсовывают фото из кеша, которое уже отресайзено, но при желании, Вы можете получить его оригинал.

[vsevdom03]

  В 20.01.2022 в 13:34, Axelenz сказав:

Тут убираем не нужное и получаем оригинал фото по ссылке:

https://nsk.richfamily.ru/upload/iblock/52c/280543.jpg

 

Фактически Вам подсовывают фото из кеша, которое уже отресайзено, но при желании, Вы можете получить его оригинал.

Expand  

Дело то в том, что как раз оригиналы у меня и не принимает, не грузит модуль оригиналы, а вот из папки /resize_cache/ легко, вот я для примера скинул 3 ссылки на фото, 2 из них оригинальные ссылки, а одна кэш из папки /resize_cache/ , вот она то и добавляется в товар как единственная фотография.

[Axelenz]

  В 20.01.2022 в 13:43, vsevdom03 сказав:

Дело то в том, что как раз оригиналы у меня и не принимает, не грузит модуль оригиналы

Expand  

{reg[#/resize_cache(/iblock/(.*){1,3}/)(.*)/#]}|$1

 

вот это регулярное выражение приведёт в порядок фото из кеша...

 

  Цитата

вот я для примера скинул 3 ссылки на фото, 2 из них оригинальные ссылки, а одна кэш из папки /resize_cache/ , вот она то и добавляется в товар как единственная фотография

Expand  

 

модуль будет добавлять ровно сколько фото, сколько Вы ему прописали...

Змінено 20 січня 2022 користувачем Axelenz

[vsevdom03]

  В 20.01.2022 в 13:47, Axelenz сказав:

{reg[#/resize_cache(/iblock/(.*){1,3}/)(.*)/#]}|$1

 

вот это регулярное выражение приведёт в порядок фото из кеша...

Expand  

к сожалению не помогло. я вот не могу понять, почему я например все эти 3 фотографии могу открыть свободно в браузере, просто скопировав ссылку, а модуль их нет видит, точнее видит только одну из трех, еще точнее - первую https://nsk.richfamily.ru/upload/iblock/c25/280409.jpg{csvnc}https://nsk.richfamily.ru/upload/iblock/bde/resized_280409_2.jpg{csvnc}https://nsk.richfamily.ru/upload/iblock/8c3/resized_280409_3.jpg

А в другом случае - где ссылки все по такому типу - модуль загрузил все фотографии

https://nsk.richfamily.ru/upload/resize_cache/iblock/a4a/900_1200_2/280503.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/0ad/900_1200_2/280503_2.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/0c1/900_1200_2/280503_3.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/00f/900_1200_2/280503_4.jpg

[Rassol2]

  В 20.01.2022 в 14:05, vsevdom03 сказав:

к сожалению не помогло. я вот не могу понять, почему я например все эти 3 фотографии могу открыть свободно в браузере, просто скопировав ссылку, а модуль их нет видит, точнее видит только одну из трех, еще точнее - первую https://nsk.richfamily.ru/upload/iblock/c25/280409.jpg{csvnc}https://nsk.richfamily.ru/upload/iblock/bde/resized_280409_2.jpg{csvnc}https://nsk.richfamily.ru/upload/iblock/8c3/resized_280409_3.jpg

А в другом случае - где ссылки все по такому типу - модуль загрузил все фотографии

https://nsk.richfamily.ru/upload/resize_cache/iblock/a4a/900_1200_2/280503.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/0ad/900_1200_2/280503_2.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/0c1/900_1200_2/280503_3.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/00f/900_1200_2/280503_4.jpg

Expand  

Открываем логи модуля.
И смотрим что модуль пишет по поводу парсинга этих фото.
Всегда начинайте искать ответ с просмотра логов модуля, в 90% случаев там будет или часть ответа.

[vsevdom03]

  В 20.01.2022 в 14:09, Rassol2 сказав:

Открываем логи модуля.
И смотрим что модуль пишет по поводу парсинга этих фото.
Всегда начинайте искать ответ с просмотра логов модуля, в 90% случаев там будет или часть ответа.

Expand  

Здравствуйте! Модуль пишет, что изображения не найдены, ответ сервера 404 , но при этом если вручную в браузер скопировать ссылку, то фото открывается.

а вот ссылки на фото: http:// https://nsk.richfamily.ru/upload/iblock/323/resized_280496_2.jpg | https://nsk.richfamily.ru/upload/iblock/6ec/resized_280496_3.jpg | https://nsk.richfamily.ru/upload/iblock/470/resized_280496_4.jpg
 

  Показати вміст