[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

9 часов назад, egortide сказал:

Добрый день, скажите пожалуйста подробнее про прокси и потоки. Я правильно понимаю, что если взять 5 прокси и поставить 5 потоков, то: с одного айпи произойдет 5 запросов, потом пауза (если она стоит), потом с другого айпи 5 запросов и так далее? 

Каким путем выявить наиболее эффективное значение: кол-во прокси/кол-во потоков/пауза в секундах, чтобы парсить быстрее и не быть забаненным? 

Это философский вопрос так как вы его здаете людям которые не имеют отношение к ограничениям которая установлены на вашем хостинге.
можно перефразировать вопрос.

 

Какой более эффективный подход для ограбления банка.

Если бы я знал ....

 

Суть такова, закручиваете гайки по максимуму, и потихоньку отпускаете их пока не найдете тот предел за который вас начинают банить.
Затем берете паузу, или прокси, отступаете от этого придела так что бы вас не банили, и работаете.

И помните, что большая скорость при парсинге, это большая нагрузка на донор. А нагрузка это деньги владельца донора. А парой даже хостинги впрягаются поскольку аномальная нагрузка в не тарифного плана не устраивает да же их.

[egortide]

1 минуту назад, Rassol2 сказал:

Это философский вопрос так как вы его здаете людям которые не имеют отношение к ограничениям которая установлены на вашем хостинге.
можно перефразировать вопрос.

 

Какой более эффективный подход для ограбления банка.

Если бы я знал ....

 

Суть такова, закручиваете гайки по максимуму, и потихоньку отпускаете их пока не найдете тот предел за который вас начинают банить.
Затем берете паузу, или прокси, отступаете от этого придела так что бы вас не банили, и работаете.

И помните, что большая скорость при парсинге, это большая нагрузка на донор. А нагрузка это деньги владельца донора. А парой даже хостинги впрягаются поскольку аномальная нагрузка в не тарифного плана не устраивает да же их.

Спасибо, буду пробовать! Самый сложный модуль, который я осваивал, и функционал тут просто огромный, спасибо еще раз!

[nikeforce111]

Добрый день, подскажите как убрать дублирование цены {204} и цены акции {240} при парсинге на сайте.    — товар с акцией

                 — товар без акции

якобы если цена и цена акции одинаковые, то акция не добавляется, вот настройки в админке

а вот отображение на сайте

 

 

[egortide]

5 минут назад, nikeforce111 сказал:

Добрый день, подскажите как убрать дублирование цены {204} и цены акции {240} при парсинге на сайте.    — товар с акцией

                 — товар без акции

якобы если цена и цена акции одинаковые, то акция не добавляется, вот настройки в админке

а вот отображение на сайте

 

 

используй логические операторы https://simplepars.top/index.php?page=note&n=50

[nikeforce111]

Только что, egortide сказал:

используй логические операторы https://simplepars.top/index.php?page=note&n=50

спасибо, буду разбираться

[egortide]

2 минуты назад, nikeforce111 сказал:

спасибо, буду разбираться

там легко логику сделать:
в цену записывай : data-price
в акцию такая логика: {if[{data-price}{>}{data-discount-price}]}data-discount-price{else}

если data-price будет больше data-discount-price , то в акцию запишется data-discount-price, если нет , то ничего не запишется

Змінено 20 січня 2022 користувачем egortide

[Reanimaster]

Добрый день. Когда то спрашивал, не могу найти в теме.

Как сделать что бы поле Model могло быть использовано при обновлении?

Тобишь не создавалось, а если есть уже товар с таким модел - он обновлялся?

Спасибо.

[egortide]

3 минуты назад, Reanimaster сказал:

Добрый день. Когда то спрашивал, не могу найти в теме.

Как сделать что бы поле Model могло быть использовано при обновлении?

Тобишь не создавалось, а если есть уже товар с таким модел - он обновлялся?

Спасибо.

По-моему в импорте в ИМ нужно установить это:

Змінено 20 січня 2022 користувачем egortide

[Rassol2]

1 минуту назад, Reanimaster сказал:

Добрый день. Когда то спрашивал, не могу найти в теме.

Как сделать что бы поле Model могло быть использовано при обновлении?

Тобишь не создавалось, а если есть уже товар с таким модел - он обновлялся?

Спасибо.

Выберите использовать model как идентификатор товара.
И модуль будет по этому полю определять товары.

[Rassol2]

19 минут назад, nikeforce111 сказал:

Добрый день, подскажите как убрать дублирование цены {204} и цены акции {240} при парсинге на сайте.    — товар с акцией

                 — товар без акции

якобы если цена и цена акции одинаковые, то акция не добавляется, вот настройки в админке

а вот отображение на сайте

 

 

Даже защёл проверил у себя.
А вы уверены что оба значения идентичны ?
Потому что я сперва создал товар с указанием цены равной 100 и акции равной 100 и модуль не создал ничего.
Затем проверил обновление и то же самое. Модуль не создает акционную цену если она равна цене товара.

Вы уверены что в границах одинаковое значение ?

[Reanimaster]

5 минут назад, Rassol2 сказал:

Выберите использовать model как идентификатор товара.
И модуль будет по этому полю определять товары.

Да. Я тупанул. Парсить не поставил режим.
А еще вопрос. Как сделать режим парсинга описания - если пустое?

Только не скриптами. Потому как скрипты в 1 поток. Удобно, но долго.
Благодарю

[Rassol2]

1 минуту назад, Reanimaster сказал:

Да. Я тупанул. Парсить не поставил режим.
А еще вопрос. Как сделать режим парсинга описания - если пустое?

Только не скриптами. Потому как скрипты в 1 поток. Удобно, но долго.
Благодарю

Такого нет.
Нет ни одного режима где модуль определяет что ему парсить в товар а что нет, опираясь на данные которые уже существуют или нет в товаре.
вы можете указать модулю обновить то или иное значения в товарах, но не можете задать обновление при условии отсутствия описания в товаре.

[Reanimaster]

7 минут назад, Rassol2 сказал:

вы можете указать модулю обновить то или иное значения в товарах, но не можете задать обновление при условии отсутствия описания в товаре.

 

Понял. Спасибо.
И последнее назрело.

Кодировка UTF-16+BOM.

Сложно добавить поддержку?

[Rassol2]

2 минуты назад, Reanimaster сказал:

 

Понял. Спасибо.
И последнее назрело.

Кодировка UTF-16+BOM.

Сложно добавить поддержку?

Да сложно.

[Reanimaster]

Только что, Rassol2 сказал:

Да сложно.

Понял. Спасибо.

[nikeforce111]

15 минут назад, Rassol2 сказал:

Даже защёл проверил у себя.
А вы уверены что оба значения идентичны ?
Потому что я сперва создал товар с указанием цены равной 100 и акции равной 100 и модуль не создал ничего.
Затем проверил обновление и то же самое. Модуль не создает акционную цену если она равна цене товара.

Вы уверены что в границах одинаковое значение ?

да, вот опять проверил в коде и сами границы 

[Rassol2]

3 минуты назад, nikeforce111 сказал:

да, вот опять проверил в коде и сами границы 

меня интересует в границе париснга а не в коде.
к примеру, возьмите одну границу парсинга которая отвечает за цену, и запищите её же в акции. И обновите пару товаров. Что будет ?
Что в логах модуль напишет.

[vsevdom03]

Всем здравствуйте! Нужна помощь знатоков.
Начал учиться парсить товары с сайта поставщиков, но столкнулся со следующими проблемами:
1. Не все фотографии загружаются, заметил в каких случаях, если в ссылке на фото есть resize_cache/, то такое фото без проблем добавляется в товар, а если фото без этой папки, со ссылкой по формату https://nsk.richfamily.ru/upload/iblock/63b/resized_280543_3.jpg , как мы видим тут после папки upload/ сразу идет папка iblock/ , в этом случае фото в товар не добавляется, хотя само фото по полной ссылке легко открывается. На скриншоте обратите внимание на то, что там всего 1 фотография, а по факту в разделе фото у нас 3 ссылки, вот они, только пробел поставил после "." в домене, а то сайт тут сразу загружается эти фото и ссылки пропадают.

https://nsk.richfamily. ru/upload/resize_cache/iblock/52c/900_1200_2/280543.jpg

https://nsk.richfamily. ru/upload/iblock/ff4/resized_280543_2.jpg

https://nsk. richfamily.ru/upload/iblock/63b/resized_280543_3.jpg
Что нужно сделать, чтобы все типы ссылок подходили для парсинга?

2. На скриншоте из парсинга я показал как выглядят атрибуты, все по порядку и ровно так, как мне нужно, так же как у сайта донора, а вот дальше 2 фотографии - это уже с нашего сайта, там все атрибуты перемешиваются и добавляются какие то стандартные названия для характеристик, такие как: Основные характеристики, характеристики, дополнительно. Этого в исходном варианте у нас нет. Подскажите пожалуйста что сделать для того, чтобы всё грузилось как в списке атрибутов и без доп названий. Заранее спасибо за ответ! 

Спойлер

 

 

 

Змінено 20 січня 2022 користувачем vsevdom03

[Axelenz]

22 минуты назад, vsevdom03 сказал:

Начал учиться парсить товары с сайта поставщиков

Замечательно. Шаг второй - учимся прятать свои длинные простыни, как делают все на форуме:

Спойлер

простыни прячем сюда, в спойлер

 

[Axelenz]

46 минут назад, vsevdom03 сказал:

https://nsk.richfamily. ru/upload/resize_cache/iblock/52c/900_1200_2/280543.jpg

Тут убираем не нужное и получаем оригинал фото по ссылке:

https://nsk.richfamily.ru/upload/iblock/52c/280543.jpg

 

Фактически Вам подсовывают фото из кеша, которое уже отресайзено, но при желании, Вы можете получить его оригинал.

[vsevdom03]

3 минуты назад, Axelenz сказал:

Тут убираем не нужное и получаем оригинал фото по ссылке:

https://nsk.richfamily.ru/upload/iblock/52c/280543.jpg

 

Фактически Вам подсовывают фото из кеша, которое уже отресайзено, но при желании, Вы можете получить его оригинал.

Дело то в том, что как раз оригиналы у меня и не принимает, не грузит модуль оригиналы, а вот из папки /resize_cache/ легко, вот я для примера скинул 3 ссылки на фото, 2 из них оригинальные ссылки, а одна кэш из папки /resize_cache/ , вот она то и добавляется в товар как единственная фотография.

[Axelenz]

7 минут назад, vsevdom03 сказал:

Дело то в том, что как раз оригиналы у меня и не принимает, не грузит модуль оригиналы

{reg[#/resize_cache(/iblock/(.*){1,3}/)(.*)/#]}|$1

 

вот это регулярное выражение приведёт в порядок фото из кеша...

 

Цитата

вот я для примера скинул 3 ссылки на фото, 2 из них оригинальные ссылки, а одна кэш из папки /resize_cache/ , вот она то и добавляется в товар как единственная фотография

 

модуль будет добавлять ровно сколько фото, сколько Вы ему прописали...

Змінено 20 січня 2022 користувачем Axelenz

[vsevdom03]

6 минут назад, Axelenz сказал:

{reg[#/resize_cache(/iblock/(.*){1,3}/)(.*)/#]}|$1

 

вот это регулярное выражение приведёт в порядок фото из кеша...

к сожалению не помогло. я вот не могу понять, почему я например все эти 3 фотографии могу открыть свободно в браузере, просто скопировав ссылку, а модуль их нет видит, точнее видит только одну из трех, еще точнее - первую https://nsk.richfamily.ru/upload/iblock/c25/280409.jpg{csvnc}https://nsk.richfamily.ru/upload/iblock/bde/resized_280409_2.jpg{csvnc}https://nsk.richfamily.ru/upload/iblock/8c3/resized_280409_3.jpg

А в другом случае - где ссылки все по такому типу - модуль загрузил все фотографии

https://nsk.richfamily.ru/upload/resize_cache/iblock/a4a/900_1200_2/280503.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/0ad/900_1200_2/280503_2.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/0c1/900_1200_2/280503_3.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/00f/900_1200_2/280503_4.jpg

[Rassol2]

3 минуты назад, vsevdom03 сказал:

к сожалению не помогло. я вот не могу понять, почему я например все эти 3 фотографии могу открыть свободно в браузере, просто скопировав ссылку, а модуль их нет видит, точнее видит только одну из трех, еще точнее - первую https://nsk.richfamily.ru/upload/iblock/c25/280409.jpg{csvnc}https://nsk.richfamily.ru/upload/iblock/bde/resized_280409_2.jpg{csvnc}https://nsk.richfamily.ru/upload/iblock/8c3/resized_280409_3.jpg

А в другом случае - где ссылки все по такому типу - модуль загрузил все фотографии

https://nsk.richfamily.ru/upload/resize_cache/iblock/a4a/900_1200_2/280503.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/0ad/900_1200_2/280503_2.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/0c1/900_1200_2/280503_3.jpg{csvnc}https://nsk.richfamily.ru/upload/resize_cache/iblock/00f/900_1200_2/280503_4.jpg

Открываем логи модуля.
И смотрим что модуль пишет по поводу парсинга этих фото.
Всегда начинайте искать ответ с просмотра логов модуля, в 90% случаев там будет или часть ответа.

[vsevdom03]

5 минут назад, Rassol2 сказал:

Открываем логи модуля.
И смотрим что модуль пишет по поводу парсинга этих фото.
Всегда начинайте искать ответ с просмотра логов модуля, в 90% случаев там будет или часть ответа.

Здравствуйте! Модуль пишет, что изображения не найдены, ответ сервера 404 , но при этом если вручную в браузер скопировать ссылку, то фото открывается.

а вот ссылки на фото: http:// https://nsk.richfamily.ru/upload/iblock/323/resized_280496_2.jpg | https://nsk.richfamily.ru/upload/iblock/6ec/resized_280496_3.jpg | https://nsk.richfamily.ru/upload/iblock/470/resized_280496_4.jpg
 

Спойлер