[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

45 минут назад, PinokioStore сказал:

Добрый день, подскажите пожалуйста. Я видела что есть возможность автоматически парсить по расписанию. Как часто программа может парсить сайт с объемом товаров в 100.000, и по времени на сколько это может растянуться?

Так часто как вы это настроите.
А вот сколько это может занять время я не знаю, потому что все зависит от сайта донора и от вашего хостинга.
При хороших условиях рас в сутки думаю сможете, все же количество не маленькое. Чаше наврядли поскольку получится у вас безостановочный парсинг ))
 

[yura1yura]

Добрый день. Модуль парсит любые сайты? В частности интересует Пром.Юа

[Rassol2]

3 минуты назад, yura1yura сказал:

Добрый день. Модуль парсит любые сайты? В частности интересует Пром.Юа

Да. Но пром .юа будет банить за парсинг. И работа с таким крайне сложна.
По этому я не рекомендую парсить агрегаторы.

[Rassol2]

Обновление v4.0-6_beta

Корректирующий релиз, множество мелких исправлений.

[oltita]

Подскажите, есть ли возможность парсить номера телефонов с OLX? Открываются только после нажатия кнопки показать номер. В коде выдает номер в формате 06х-ххх-хх-хх

[Rassol2]

7 минут назад, oltita сказал:

Подскажите, есть ли возможность парсить номера телефонов с OLX? Открываются только после нажатия кнопки показать номер. В коде выдает номер в формате 06х-ххх-хх-хх

Здравствуйте.
Нет такой возможности нет. Тут нужны под запросы их пока еше нет в модуле.

Можно спарсить все что загружается страницей при открытии. А эти данные попадают через дополнительные запросы при событиях, в данном случаи при клике.
Пока что нет.

[oltita]

4 минуты назад, Rassol2 сказал:

Здравствуйте.
Нет такой возможности нет. Тут нужны под запросы их пока еше нет в модуле.

Можно спарсить все что загружается страницей при открытии. А эти данные попадают через дополнительные запросы при событиях, в данном случаи при клике.
Пока что нет.

Понял, спасибо

 

[partshez]

3 часа назад, yura1yura сказал:

Добрый день. Модуль парсит любые сайты? В частности интересует Пром.Юа

Парсится нормально. Но не спешить! Вчера парсил.

[yura1yura]

3 часа назад, partshez сказал:

Парсится нормально. Но не спешить! Вчера парсил.

Спасибо! Что ВЫ имеете ввиду не спешить

[kostya242]

1 час назад, yura1yura сказал:

Спасибо! Что ВЫ имеете ввиду не спешить

 

Задержки между запросами длиннее )

[partshez]

9 часов назад, yura1yura сказал:

Спасибо! Что ВЫ имеете ввиду не спешить

Спарсить в кеш 1 поток, пауза 2-6, например. А потом можно в пять потоков загружать в магазин 

С одним сайтом долго боролся. Вчера поставил паузу 15-20. Пока не заблокировал. Кеширует тихонечко...

Змінено 29 жовтня 2020 користувачем partshez

[partshez]

15 часов назад, Rassol2 сказал:

 эти данные попадают через дополнительные запросы при событиях, в данном случаи при клике.
Пока что нет.

Неужели и это планируется сделать? Тогда точно автору и модулю цены не будет! На моем компе до сих пор лежит версия 1.3, один заказчик работает с версией 2.10 и подкидывет работу... Как много изменений с начала знакомства с модулем! Автору респект!

[Rassol2]

6 часов назад, partshez сказал:

Неужели и это планируется сделать? Тогда точно автору и модулю цены не будет! На моем компе до сих пор лежит версия 1.3, один заказчик работает с версией 2.10 и подкидывет работу... Как много изменений с начала знакомства с модулем! Автору респект!

Да только тут не все так просто по этому не скоро.
За этот год много чего сделано.  И много мелких проблем которые нужно решать, и вот они забирают большую часть времени.

Да и пока еше не решил как реализовать обработку js и ajax запросов. Можно подумать как сделать под запросы, но это все сложно.
Можно сделать имитацию работы браузера при помощи драйвера барузера, но тут уже не сделать это на базе PHP
Тогда нужно делать что бы парсинг происходил где то на стороне а в модуль отдавал отрендеренные страницы.

Короче над этим я еше домаю. Да и пока порешаю все мелкие вопросы пройдет не один месяц.

[Reanimaster]

Приветствую всех.

У меня 3 острых вопроса стоят по модулю.

1) Парсинг фидов по крон.

2) Возможность спаршенный CSV забирать так же по ссылке, по аналогии с фидами. Для того что бы другим модулем сопоставлять категории.

3) Возможность поиска/замены в ссылках, так же по крону, может как то доп заданием.

 

Надеюсь на помощь)

[Rassol2]

3 минуты назад, Reanimaster сказал:

Приветствую всех.

У меня 3 острых вопроса стоят по модулю.

1) Парсинг фидов по крон.

2) Возможность спаршенный CSV забирать так же по ссылке, по аналогии с фидами. Для того что бы другим модулем сопоставлять категории.

3) Возможность поиска/замены в ссылках, так же по крону, может как то доп заданием.

 

Надеюсь на помощь)

1. Уже идет тестирование

2. Легко, прайс лежит в http://ваш домен/admin/uploads/имя прайса.csv
3. Вот этого пока нет.

Какого рода замены в ссылках ?

[Reanimaster]

Ок. Может по первому вопросу помогу с тестированием?

[Reanimaster]

Правда очень остро стоит вопрос. Может чем смогу помочь попутно

 

[Rassol2]

1 минуту назад, Reanimaster сказал:

Правда очень остро стоит вопрос. Может чем смогу помочь попутно

 

Дело в том что это не готовый вариант я еше не накидал внешний вид.
Тестировал вариант где в кроне будет просто выбираться что перед парсингов в ИМ будет отработан менеджер XML

но он провалился. Так что сейчас уже тестирую как создание отдельного задания.

На днях будет уже открытая бетка.

[Reanimaster]

Ок. Еще вопрос. Есть сайт в котором фотки идут с путем !product. Да маразм согласен, но увы))

 

И есть такой фид.

https://feron.ua/index.php?route=extension/feed/neoseo_product_feed&name=rozetka

 

Он моментально пишет что нельзя загрузкить больше строк

[Rassol2]

1 минуту назад, Reanimaster сказал:

Ок. Еще вопрос. Есть сайт в котором фотки идут с путем !product. Да маразм согласен, но увы))

немного не понял вам нужно вырезать из пути фото знак вослицания, и после этого фото остается доступной.
Тогда вопрос что мешает это делать сейчас через поиск замену ?

 

2 минуты назад, Reanimaster сказал:

И есть такой фид.

https://feron.ua/index.php?route=extension/feed/neoseo_product_feed&name=rozetka

 

Он моментально пишет что нельзя загрузкить больше строк

И это не понял.
Можно подробнее ?

[Reanimaster]

По первому нет. Фото недоступно если вырезать. Парсер видимо воспринимает ! как спецсимвол. Просто предположение.

[Rassol2]

@Reanimaster
Если посмотреть в логи там видно вот это
 

Цитата

2020-10-29 18:20:03| Парсинг : ОШИБКА запроса  | Код ошибки = 28 | Текст ошибки = Operation timed out after 15000 milliseconds with 0 bytes received | Ссылка - https://feron.ua/index.php?route=extension/feed/neoseo_product_feed&name=rozetka

Это модуль вам говорит, слушайте мне не хватает 15 сикунд на загрузку этого файла.

А вы можете пойти в настройки запросов и увечить это значение.
 

Спойлер

 

[Rassol2]

2 минуты назад, Reanimaster сказал:

По первому нет. Фото недоступно если вырезать. Парсер видимо воспринимает ! как спецсимвол. Просто предположение.

Скиньте пример я ночью посмотрю.
 

[Reanimaster]

3 минуты назад, Rassol2 сказал:

@Reanimaster
Если посмотреть в логи там видно вот это
 

Это модуль вам говорит, слушайте мне не хватает 15 сикунд на загрузку этого файла.

А вы можете пойти в настройки запросов и увечить это значение.
 

  Показать контент

 

Спасибо. Правда 25 тоже не хотело. Сделал 5 минут - помогло)

[Reanimaster]

3 минуты назад, Rassol2 сказал:

Скиньте пример я ночью посмотрю.
 

https://xado.ua/avtomobilnaya-himiya/ah-sistemi-ventilacii-i-kondicionirovaniya/ochistiteli/kompleksniy-ochistitel-avtomobilnih-konditsionerov-penniy&option=13594