[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

2 часа назад, Aspirinnka1 сказал:

кстати, может кто подскажет или даст ссылку как настраивать прокси? я дилетант в этом

Как проверить прокси на проксе чекере.
https://simplepars.top/index.php?page=note&n=13

Да и как указывать тоже.

Затем просто в настройках запросов выбираете работу через прокси.
 

Спойлер

 

[aguk84]

Можно будет добавить возможность в CSV/Парсинг сортировать строки?

Добавить колонку номер строки или возможность их двигать.

[farshmac]

Подскажите, почему такая конструкция не работает? И есть ли рабочий вариант?

Поле цена работает, как надо. А вот акция только, если 1614 не пустая. Если доходит до или, то строка остается пустой.
Пояснение:
Если на товаре акция, то берется основная цена 1614 и на нее применяется скидка, через множитель 1613, если акции нет, значит 1614 пустая, применяет обычная цена 358 и на нее скидка, через множитель 1613.
Спасибо.

Спойлер

Хотя вроде работает, вопрос снят. Извините, заработался)

Змінено 22 березня 2021 користувачем farshmac

[Rassol2]

9 часов назад, farshmac сказал:

Хотя вроде работает, вопрос снят. Извините, заработался)

это хорошо а то я вообще не понял что у вас там ))

[Rassol2]

9 часов назад, aguk84 сказал:

Можно будет добавить возможность в CSV/Парсинг сортировать строки?

Добавить колонку номер строки или возможность их двигать.

Если вы про то что бы двигать колонки в настройках csv То это будет но не в ближайших релизах.

[Axelenz]

2 часа назад, Rassol2 сказал:

Если вы про то что бы двигать колонки в настройках csv То это будет но не в ближайших релизах.

Присоединяюсь...

Не хватает для удобства возможности перемещения уже заполненных строк выше/ниже или хотя бы вставки пустых строк между существующими...

[SivakFurs]

Добрый день еще раз 

у меня на сайте Прома + - 1200 товаров сколько в день мод сможет обработать что бы меня не забанили? Честно не до конца понимаю как это работает....

 

[Rassol2]

11 минут назад, SivakFurs сказал:

Добрый день еще раз 

у меня на сайте Прома + - 1200 товаров сколько в день мод сможет обработать что бы меня не забанили? Честно не до конца понимаю как это работает....

 

Здравствуйте.
Есть музей с драгоценностями Елизаветы Второй.
Сколько можно своровать драгоценностей пока не сработает сигнализация ?

Я вам намекаю на то что вопрос не к модулю.
1. К тому кто настраивает.
2. К тому как устроена зашита.

Но уже точно не к модулю.
Модуль способен спарсить неограниченное количество товаров, все что его ограничивает это правильность настроек в той или иной ситуации.

[Reanimaster]

11 минут назад, Rassol2 сказал:

К тому кто настраивает.

Скорее первое)

[SivakFurs]

Хорошо просмотрел видео настроек у меня следующий вопрос

1) допустим я спасилил товары категории дубленки их сейчас к примеру 150 штук.

2) село менеджер добавил еще 20 товаров 

что делать это уже новые ссылки правильно я понимаю? все заново настраивать? или он автоматом добавит новый товар?

 

[Rassol2]

3 минуты назад, SivakFurs сказал:

Хорошо просмотрел видео настроек у меня следующий вопрос

1) допустим я спасилил товары категории дубленки их сейчас к примеру 150 штук.

2) село менеджер добавил еще 20 товаров 

что делать это уже новые ссылки правильно я понимаю? все заново настраивать? или он автоматом добавит новый товар?

 

Сам добавит по вашим настройкам. Если это тот же донор

[Aspirinnka1]

14 часов назад, Rassol2 сказал:

Как проверить прокси на проксе чекере.
https://simplepars.top/index.php?page=note&n=13

Да и как указывать тоже.

Спасибо. Погуглил, нашел список бесплатных прокси, проверил чекером - у всех или ошибка 56 или 7. Я так понимаю, что смысла искать бесплатные нет, да? А где покупать платные и сколько они стоят приблизительно? можно в лс

[Rassol2]

Только что, Aspirinnka1 сказал:

Спасибо. Погуглил, нашел список бесплатных прокси, проверил чекером - у всех или ошибка 56 или 7. Я так понимаю, что смысла искать бесплатные нет, да? А где покупать платные и сколько они стоят приблизительно? можно в лс

Это не ошибки это ответы.

Я не знаю где покупать тут каждый сам для себя делает выбор.
Я только сделал инструмент который позволяет работать через прокси.

[Reanimaster]

Вопрос назрел. Можно ли как то получить в переменную ID создаваемого товара в момент парсинга?

[Rassol2]

1 минуту назад, Reanimaster сказал:

Вопрос назрел. Можно ли как то получить в переменную ID создаваемого товара в момент парсинга?

нет.
В момент парсинга нет этого id

[Reanimaster]

3 часа назад, Rassol2 сказал:

В момент парсинга нет этого id

Очень жаль. А в принципе можно сделать данную переменную?
Разумеется что ее не возможно знать до заливки в базу. Но в момент заливки она то известна может быть я думаю?

[Rassol2]

5 минут назад, Reanimaster сказал:

Очень жаль. А в принципе можно сделать данную переменную?
Разумеется что ее не возможно знать до заливки в базу. Но в момент заливки она то известна может быть я думаю?

Да но она появляется только после создания товара.
А когда модуль передает данные на создания у него уже все данные сформированы.
Модуль передает все данные в функцию по созданию товара.

И тут создается товар, и только тогда становится известен id и как либо использовать это уже не получится.

[partshez]

Прошу помощь. Не могу решить задачку. Парсинг фото. 

https://www.vseinstrumenti.ru/rashodnie-materialy/klimat-obor/dlya-ventilyacionnogo-oborudovaniya/reshetki-ventilyatsionnye/era-/anemostat-pritochno-vytyazhnoj-reguliruemyj-s-flantsem-abs-d100-10apvp

Открываю в своем браузере фото - без логотипа. В Предпросмотре и на сайте после парсинга с логотипом!   http://prntscr.com/10tpyjm

https://cdn.vseinstrumenti.ru/images/goods/rashodnie-materialy/klimat-obor/842940/1200x800/51675950.jpg

В чем хитрость? Как загрузить без логотипа?

 

 

SPsetting-10.json

Змінено 23 березня 2021 користувачем partshez

[Axelenz]

1 час назад, partshez сказал:

В чем хитрость? Как загрузить без логотипа?

Ибо не нужно пользоваться ГуглоХромом...

В лисе открывается без лого, очевидно автор сайта так же недолюбливал хромоподобные браузеры )))

Спойлер

 

Змінено 23 березня 2021 користувачем Axelenz

[partshez]

А решение какое?

 

[Axelenz]

18 минут назад, partshez сказал:

А решение какое?

Ну наверное притвориться Firefox-ом...

Ищите Список User-Agent Firefox

Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:47.0) Gecko/20100101 Firefox/62.0
Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:52.0) Gecko/20100101 Firefox/52.0
Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0
Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:60.0) Gecko/20100101 Firefox/60.0
Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:71.0) Gecko/20100101 Firefox/71.0
Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:72.0) Gecko/20100101 Firefox/72.0
Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:73.0) Gecko/20100101 Firefox/73.0
Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0
Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:84.0) Gecko/20100101 Firefox/84.0
Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:85.0) Gecko/20100101 Firefox/85.0
Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0
Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:87.0) Gecko/20100101 Firefox/87.0

Попробуйте, отпишитесь, интересно...

Змінено 23 березня 2021 користувачем Axelenz

[partshez]

Изменений нет. Точнее, с некоторыми User-Agent  вообще фото не видит.

[Axelenz]

1 час назад, partshez сказал:

Изменений нет. Точнее, с некоторыми User-Agent  вообще фото не видит.

Спойлер

Всё там можно спарсить... но не с Вашими настройками...

[asokr]

В кроне одновременно могут парситься сайты?

Подскажите, пожалуйста, верную настройку КРОН. 

Парсится два сайта, один тяжелый - 6000 товаров примерно, я ему выставил время 0-5 с таймаутом 1
второй парсится через xml - 15000 товаров, что, идейно быстро. время 2-9

Фото нигде не скачиваются.

И вот сейчас 7.40, а у второго сайта только 3000 товаров спарсено. Перегружаю страницу - 3100, перегружаю - 3200, то есть парсинг идет быстро.

Но до сих пор не спарсен.

 

Ограничение по времени менял - иной раз спрасится, другой раз - модуль блокирует парсинг по времени - потому приходится ставить большие промежутки...

 

Как поправить? 

 

Есть мануал по крону, где объясняется его работа в модуле? 

Можно задать время работы скрипта без ограничения? В 00:00 начал - и пока не спарсит...

 

Очередь в модуле только для текущего проекта, или для всех?

[Rassol2]

17 минут назад, asokr сказал:

В кроне одновременно могут парситься сайты?

Подскажите, пожалуйста, верную настройку КРОН. 

Парсится два сайта, один тяжелый - 6000 товаров примерно, я ему выставил время 0-5 с таймаутом 1
второй парсится через xml - 15000 товаров, что, идейно быстро. время 2-9

Фото нигде не скачиваются.

И вот сейчас 7.40, а у второго сайта только 3000 товаров спарсено. Перегружаю страницу - 3100, перегружаю - 3200, то есть парсинг идет быстро.

Но до сих пор не спарсен.

 

Ограничение по времени менял - иной раз спрасится, другой раз - модуль блокирует парсинг по времени - потому приходится ставить большие промежутки...

 

Как поправить? 

 

Есть мануал по крону, где объясняется его работа в модуле? 

Можно задать время работы скрипта без ограничения? В 00:00 начал - и пока не спарсит...

 

Очередь в модуле только для текущего проекта, или для всех?

Общая очередь для всех заданий.
А вы уверены что парсинг не идет по десятому кругу ?
Вы не забыли использовать таймаут. Если нет таймаута то будет одно и тоже делать пока не закончится период времени.

Аналогия.
У вас есть сотрудник в кафе, вы сказали ему мыть посуду с 0-5 часав. Он закончил мыть в два часа. Таймаут вы ему не даете.
Видите что он ничего не делает после двух часов. Что вы скажете ?
Почему бездельничает!!!!

И что бы такого не было, сотрудник будет мыть посуду без остановки. с 0-5 его может остановить только.
1. Окончания времени в которое он должен мыть.
2. Официально разрешенный перекур после выполнения задания (таймаут)
 

Заданий на день может быть много, но сотрудник у вас один. И он бегает от задания к заданию. В момент тайм аута одного здания сотрудник может выполнять другое.