[Поддержка] SimplePars - Універсальний парсер для ІМ

[oleksavoinar1]

ребят кто может помочь при парсинге парсит только три товара, хотя сбор ссылок произошол на все товары а их более сотни, и это только в определённой категории товаров так происходит.

Другие категории парсит нормально +- 

 

[Rassol2]

7 минут назад, oleksavoinar1 сказал:

ребят кто может помочь при парсинге парсит только три товара, хотя сбор ссылок произошол на все товары а их более сотни, и это только в определённой категории товаров так происходит.

Другие категории парсит нормально +- 

Напишите в лс логин и пароль к админке.
Фтп доступ
И номер заказа где приобретали модуль и я все проверю.

[TSwedkov]

В 03.06.2021 в 10:55, Kytsya_ сказал:

Добрый день, в логах пишет: Страница недоступна, слишком много запросов за короткое время. Ответ сервера [429] . Что можно с этим сделать?

вы как то решили проблему? или сменили донора?

перед покупкой программы хочу понять- если на доноре забанили то можно как то решить это проблему.

[Rassol2]

1 час назад, TSwedkov сказал:

вы как то решили проблему? или сменили донора?

перед покупкой программы хочу понять- если на доноре забанили то можно как то решить это проблему.

Здравствуйте.
Да можно, можно использовать прокси и делать запросы с разных ip
Можно проставить паузу парсинга..
 

[TSwedkov]

8 часов назад, Rassol2 сказал:

Здравствуйте.
Да можно, можно использовать прокси и делать запросы с разных ip
Можно проставить паузу парсинга..
 

Спасибо за ответ!

я почему начал спрашивать- перед покупкой начал изучать справку. И там про прокси написано что большие проблемы с портами и все такое. Типа хостер мешает использовать что либо отличное от 80 и 443.

 

То есть через прокси это как крайний метод. Но ведь банят очень часто (я программами по парсингу пользуюсь- стоит хоть немного ускорить , до 5сек запрос, то все, бан). Но на компе без проблем с портами, которые выдают для прокси.

 

и вот думаю- если проблема такая с прокси, то если сайт блокернут, то по сути сипл парс перестанет работать.

 

Или с прокси не настолько все плохо?

Есть ли в справке раздел рекомендаций как не попасть на бан?

 

 

[MaiLady]

Такой вопрос? У нас идет парсинг с двух сайтов, на котором некоторые производители друг друга дублируют, можно ли как то у одного донора отключить выгрузку с конкретного производителя?

[Axelenz]

46 минут назад, MaiLady сказал:

Такой вопрос? У нас идет парсинг с двух сайтов, на котором некоторые производители друг друга дублируют, можно ли как то у одного донора отключить выгрузку с конкретного производителя?

Для этого и существуют эти настройки:

Спойлер

Делаете в проекте проверку по Производителю, т.е. указываете в этом месте границу Производитель и условия, по которым товар загружать/не загружать.

Но поможет в том случае, если донор педантично заполняет поле производитель ) Ну и нужно помнить, что Адидас и Adidas для модуля не одно и то же...

Змінено 8 червня 2021 користувачем Axelenz

[blyskavka]

Добрый день. 
Настроил парсинг с донора. С поиск и замене настроил форматирование текста как нужно, в предпросмотре тоже показывает верно, а в по факту заполнения карточки товара текст получается одним целым абзацем. Где смотреть что может быть не так?
Спасибо.
 

Спойлер

Спойлер

 

Змінено 8 червня 2021 користувачем blyskavka

[Rassol2]

1 час назад, TSwedkov сказал:

Или с прокси не настолько все плохо?

Есть ли в справке раздел рекомендаций как не попасть на бан?

Нет не на столько все критично.
В можно покупать платные прокси с нужными портами, либо как правило все хостинги открывают порты по запросу.

Это не крайняя мера а обычная.

по поводу рекомендаций, они максимально расплывчатые. не наглейте и донор не будет с вами бороться.
Нет ни каких рекомендаций поскольку у сайтов нет единого стандарта поведения.

[Rassol2]

3 минуты назад, blyskavka сказал:

Добрый день. 
Настроил парсинг с донора. С поиск и замене настроил форматирование текста как нужно, в предпросмотре тоже показывает верно, а в по факту заполнения карточки товара текст получается одним целым абзацем. Где смотреть что может быть не так?
Спасибо.

Значит у вас при выводе обрезаются все переносы строк.
Добавьте правило в конец поиск замены.
{br}|<br>

[blyskavka]

9 минут назад, Rassol2 сказал:

Значит у вас при выводе обрезаются все переносы строк.
Добавьте правило в конец поиск замены.
{br}|<br>

А как быть тогда с остальным html текстом? в конце я его вырезаю <{skip}>|

[Rassol2]

1 минуту назад, blyskavka сказал:

А как быть тогда с остальным html текстом? в конце я его вырезаю <{skip}>|

Я специально написал вам добавить это правило именно в самый конец поиск замены.
А значит оно будет после вашего
<{skip}>|

[blyskavka]

13 минут назад, Rassol2 сказал:

Я специально написал вам добавить это правило именно в самый конец поиск замены.
А значит оно будет после вашего
<{skip}>|

Благодарю, все теперь как надо)

[partshez]

1 час назад, MaiLady сказал:

Такой вопрос? У нас идет парсинг с двух сайтов, на котором некоторые производители друг друга дублируют, можно ли как то у одного донора отключить выгрузку с конкретного производителя?

Как вариант. Посмотрите url товара на доноре. Часто производитель есть в адресе. Тогда отфильтровать на уровне сбора ссылок

[olegubs]

добрый день 

падскажите что я делаю не так:

[olegubs]

Может я что то не правильно делаю((

Начал делать все по видео 

1) зашел на сайт https://stroyteh.ua/ с которого пирсить 

2) выбрал категорию товаров https://stroyteh.ua/category/emkosti/

3) поставил что бы с этой ссылки начал сканировать https://stroyteh.ua/category/emkosti/

И  все поидее сканирование должно пойти но увы....... 

[Axelenz]

11 минут назад, olegubs сказал:

Может я что то не правильно делаю((

Попробуйте в очередь сканирования хотя бы ведро какое-нибудь бросить, для затравки ) Вот так:

 

Спойлер

 

[olegubs]

Пошло 

теперь другая проблемма 

по видио автор заполняет паля. Я их начинаю заполнять и все сканирование не идет.....((( вставляю просто поле Шаблон ссылка очереди page.

[Rassol2]

30 минут назад, olegubs сказал:

Пошло 

теперь другая проблемма 

по видио автор заполняет паля. Я их начинаю заполнять и все сканирование не идет.....((( вставляю просто поле Шаблон ссылка очереди page.

А он у вас есть, у донора что вы его туда вставляете ?
Каждые настройки индивидуальны.

[olegubs]

11 минут назад, Rassol2 сказал:

А он у вас есть, у донора что вы его туда вставляете ?
Каждые настройки индивидуальны.

Ну да, стараюсь разобраться по видео. пака не очень быстро выходит.... 

Змінено 8 червня 2021 користувачем olegubs

[Rassol2]

@olegubs Отпишитесь мне в личных сообщениях где вы приобретали модуль.
И я вам написал по поводу пейджа в коде, а не в строке браузера, это все же разные вещи.

[Rassol2]

Обновление 4.4-8_beta

Полная поддержка автоматической авторизации. Теперь все работает по расписанию без вашего участия.
То есть теперь вы можете использовать авторизацию в кроне.

Для решения этой задачи пришлось переписать много логики в кроне, так что если у вас боевой проект который работает по расписанию, я бы пока не рекомендовал переходить.
Я понимаю что ждать фидбекап по этой функции не стоит, так как вообще по авторизации за месяц мне отписалось 2 человека.
А про автоматическую авторизацию в кроне я думаю вообще никто не отпишется.
Собственно тестировал по максимуму, так что пока отлавливаю баги в модуле, если их не будет найдено ближайшую неделю то выйдет стабильный релиз.

На всякий случай оставлю тут инструкцию по настройке автоматической авторизации в модуле SimplePars

https://simplepars.top/index.php?page=note&n=42

И оставлю здесь видео урок по этой функции.

 

[Rassol2]

Так же в SimplePars сделана подготовка под реализацию расширений для модуля.
Расширения будут в виде скриптов PHP

На данный момент задумка такая.
Вы можете настроить парсинг любых элементов страницы, как обычно.
Затем вы сможете спарсенные и обработанные границы парсинга передавать в собственный скрипт.
А что будет делать ваш скрипт на PHP зависит только от вашей фантазии, хоть заполнять вордпрес статьями

Так же постараюсь сделать возможным выполнение скрипта в разные моменты.
К примеру перед созданием прасай или загрузкой товара.
После создания записи в прайсе, или после обновления/создания товара.

 

Так что есть есть идеи пишите сюда обсудим.

Короче задумка как всегда масштабная а реализация увидим
 

[Axelenz]

Подскажите, на ocStore 3.0.2.0 при выполнении inst.php вылезают кракозябры

Модуль SimplePars успешно установлен/обновлен!

 

Где искать проблемы с кодировкой ? есть один файл _key в базе в кодировке cp1251

 

[Rassol2]

7 минут назад, Axelenz сказал:

Подскажите, на ocStore 3.0.2.0 при выполнении inst.php вылезают кракозябры

Модуль SimplePars успешно установлен/обновлен!

 

Где искать проблемы с кодировкой ? есть один файл _key в базе в кодировке cp1251

 

В вашем случаи там написано что все обновлено.
А вообще это ваш веб сервер не отдал стандартный заголовок с локализацией,
Сейчас не могу подсказать то добавить в файл что бы приходило заголовок и ваш браузер понимал

позже пришлю.