[Поддержка] SimplePars - Універсальний парсер для ІМ

[yurok79]

23 минуты назад, Flint2000 сказал:

@yurok79Создать фильтр со всеми товарами этого проекта в редакторе товаров, добавить действие "изменить кол-во товара" = 0, и сохранить этот шаблон, далее в настройках крона В дополнительных действиях выбрать нужный шаблон редактора товаров и установить его выполнять перед заданием крона

СПАСИБО!

[Rassol2]

4 минуты назад, smagg сказал:

Подскажите как быть в такой ситуации? Возможно ли спарсить этот сайт?

Скорее всего вы попали под бан у сайта донора за активный долбеж сайта.
Теперь пройдется делать все через прокси.
И настраивать запросы для обхода блокировки.
https://simplepars.top/index.php?page=notes&tag_id=21

[smagg]

Забыл упомянуть этот редирект показывается всем, пробовал просто зайти на этот сайт с других компьютеров которые у друзей стоят, в другой части города и всем им показывается сначало редирект а потом уже сайт подгружается. 

[smagg]

Почитал инструкцию про прокси и настройки запросов, если честно ничего не понял, можно попросить Вас помочь с решением этого вопроса, по доброте душевной или же за денежку))) Буду очень благодарен 

[smagg]

1 час назад, Rassol2 сказал:

Скорее всего вы попали под бан у сайта донора за активный долбеж сайта.
Теперь пройдется делать все через прокси.
И настраивать запросы для обхода блокировки.
https://simplepars.top/index.php?page=notes&tag_id=21

Почитал инструкцию про прокси и настройки запросов, если честно ничего не понял, можно попросить Вас помочь с решением этого вопроса, по доброте душевной или же за денежку))) Буду очень благодарен 

[Rassol2]

5 минут назад, smagg сказал:

Почитал инструкцию про прокси и настройки запросов, если честно ничего не понял, можно попросить Вас помочь с решением этого вопроса, по доброте душевной или же за денежку))) Буду очень благодарен 

Я не занимаюсь настройкой модуля, все свободное время трачу на поддержку и развитие.

В данной теме есть люди кто занимаются настройкой надеюсь они вам отпишутся.
@Axelenz @Flint2000 @Kiyoshi @partshez


Ну или вы можете создать запрос на поиск исполнителя в соответствующей ветке форума.
https://opencartforum.com/forum/53-наполнение-магазина/

 

[smagg]

35 минут назад, Rassol2 сказал:

Я не занимаюсь настройкой модуля, все свободное время трачу на поддержку и развитие.

В данной теме есть люди кто занимаются настройкой надеюсь они вам отпишутся.
@Axelenz @Flint2000 @Kiyoshi @partshez


Ну или вы можете создать запрос на поиск исполнителя в соответствующей ветке форума.
https://opencartforum.com/forum/53-наполнение-магазина/

 

Спасибо)

[Rassol2]

Внимание!!!

 

Смотрю подымается количество пользователей которых приходится отправлять на работу с прокси.
В связи с этим хочу заняться просветительской деятельностью.

В этом мире нет ничего бесплатно, нельзя просто включить 5 потоков и парсить.
За это можно попасть в бан. И кстати не только за это.

Почему вас блокируют?
Допустим у вас есть сайт он стоит на хостинге, и вас начинают парсить. То есть с одного ip приходит за минуту примерно 1000 запросов.
И любой владелец сайта понимает что за одну минуту пользователь не может просмотреть 1000 страниц, наверное это бот. Так же ему пишет хостер что ваш сайт потребляет много ресурсов. Ведь мы понимаем что кроме нас на сайт донор заходят и обычные пользователи.

Что делает владелец сайт?
Правильно блокирует трафик который не похож на обычного пользователя. И еше и ресурсы выедает.

Что делать нам ?
Не доводить до греха. Это первое.
Что бы не попасться не нужно наглеть.

 

1. Не включаете 5 потоков если вы не уверены что сайт донор проглотит такой трафик, и имейте уважение к другим владельцам магазина.

Ведь их сайты начинают тормозить когда вы парсите их и тем самым выедаете ресурсы.

Ресурсы которые донор мог бы потратить на отдачу информации потенциальному покупателю.

 

2. Используйте паузу парсинга.
Поставьте хотя бы диапазон от 0-5 и модуль на каждый запрос будет хаотично выбирать паузу.

То есть пауза

то нет

то пауза в 2 секунды

то пауза в 5 секунд

то в одну.
то снова без паузы.

Имитировать хоть какой то разброс в действиях.

 

3. Используйте кЭш!!!
SimplePars поддерживает кэширования, но я заметил что сейчас никто не использует его.

После выхода этой функции все использовали а сейчас почему то нет.
Смотрите, когда у вас включен кэш, и вы парсите, вы делаете запрос на сайт донор, получаете страницу, модуль ее сохраняет к себе.
Далее выполняет все что вам нужно.
Но если вы что то сделали не так, вы исправляете настройки и снова запускаете парсинг, то модуль уже не долбит вашего донора, а берет данные из архива.
Тем самым вы сокращаете риск попадании в бан к минимуму. Дак еще и + скорость работы раз в 100 увеличивается.

Это когда данные берутся из кэша и кстати из кеша можно парсить в 5 потоков, так как вы берете данные из самого себя.
Я искренен не понимаю почему сейчас это никто не использует.

РЕКОМЕНДУЮ.

4. Если у вас не горят сроки, выставьте задание в крон.

Поставьте паузу в пару секунд.

Включите кэш и пусть ночью все медленно будет сделано.
А если утром обнаружите неправильные настройки, все всегда сможете быстро перепарсить с кэша. Это же идеальный вариант.
 

Ну а если вы уже были пойманы. Тут все печально.
Печально потому что мы не знаем за какие параметры вас ставят на карандаш и дальше нужно подделывать запросы что бы обойти блокировку.
А это уже играй в угадайку. Неизвестно сможете вы угадать или нет.

 

[A26]

Доброго дня !

не актуально 

Змінено 25 березня 2021 користувачем A26

[A26]

Нет , всё таки -актуально ((

Доброго вечера !

 

Вкладка менеджер URL .

не подскажете :  Каким образом отобрать все некешированные товары ? то есть  : not cached .

 

 

[Rassol2]

7 минут назад, A26 сказал:

Нет , всё таки -актуально ((

Доброго вечера !

 

Вкладка менеджер URL .

не подскажете :  Каким образом отобрать все некешированные товары ? то есть  : not cached .

Такой настройки нет.
Так как в базу не пишется есть кеш у фото или нет.

Так что в данном случаи такой функции нету.

[A26]

имел ввиду фильтр по дате кэширования ...

 

А задать диапазон дат возможно  ? 

или каждая дата в новой строке ? 

 

[Dim_On]

Подскажите пожалуйста, как в симпл парс сделать замену "https://www.youtube.com/watch?v=Wf5gGYO8TaS" на пустоту?
Или же, как удалить эту строку заменой по-другому? 
1) https://www.youtube.com/watch?v=|
таким способом получается избавиться лишь частично... А как избавиться от остальных (Wf5gGYO8TaS) произвольных символов и цифр в подобных ссылках?
Спасибо!

[Rassol2]

43 минуты назад, A26 сказал:

имел ввиду фильтр по дате кэширования ...

 

А задать диапазон дат возможно  ? 

или каждая дата в новой строке ? 

 

Можно, вот все ссылки которые были закешированы в  третьем месяце с 10 - 19 число.
 

Спойлер

а вот все за март.
 

Спойлер

По аналогии можно и за год и так далее.

 

[Rassol2]

23 минуты назад, Dim_On сказал:

Подскажите пожалуйста, как в симпл парс сделать замену "https://www.youtube.com/watch?v=Wf5gGYO8TaS" на пустоту?
Или же, как удалить эту строку заменой по-другому? 
1) https://www.youtube.com/watch?v=|
таким способом получается избавиться лишь частично... А как избавиться от остальных (Wf5gGYO8TaS) произвольных символов и цифр в подобных ссылках?
Спасибо!

Здравствуйте.
Напишите где вы приобрели модуль, а именно номер заказа. И я подскажу вам как решить ваш вопрос.

[A26]

Спасибо )

если оператор "содержит" - то да можно сделать выборку за март 21года (2021-03 )   и not cached в неё не включается.

а если оператор Отрицание ( не содержит)  -  то выборка пуста . 

[Rassol2]

8 минут назад, A26 сказал:

Спасибо )

если оператор "содержит" - то да можно сделать выборку за март 21года (2021-03 )   и not cached в неё не включается.

а если оператор Отрицание ( не содержит)  -  то выборка пуста . 

Из за особенности где модуль берет информацию о дате.
То no ceched ввобше не участвует в выбор.
Если вы выбираете фильтр по дате, то все ссылки что не были кешированы сразу исключаются.

так что как я сказал сейчас нет возможности отобрать ссылки что не кешировались. такого фильтра нет.

[A26]

Спасибо, решил ))

 

[yurok79]

Здравствуйте, почему то "сломался" модуль. В процессе работы по настройке и тестовых выгрузок на вкладке Парсинг ИМ перестала отображаться информация по ссылкам https://prnt.sc/10w11z8 . Парсинг не запускается, часть вкладок слева не переключается и так во всех проектах. Не подскажете в чем проблема.

Змінено 26 березня 2021 користувачем yurok79

[Rassol2]

13 минут назад, yurok79 сказал:

Здравствуйте, почему то "сломался" модуль. В процессе работы по настройке и тестовых выгрузок на вкладке Парсинг ИМ перестала отображаться информация по ссылкам https://prnt.sc/10w11z8 . Парсинг не запускается, часть вкладок слева не переключается и так во всех проектах. Не подскажете в чем проблема.

Здравствуйте.
А что вы правили в модуле ?
На вашем скриншоте так же видно что верстка страницы тоже нарушена.
 

Спойлер

 

[yurok79]

Ничего совершенно, во время парсинга выскакивает и все. Из бекапа 2-й раз восстанавливаюсь. возможно попадается какая то ссылка неправильная в списке.

[Rassol2]

1 минуту назад, yurok79 сказал:

Ничего совершенно, во время парсинга выскакивает и все. Из бекапа 2-й раз восстанавливаюсь. возможно попадается какая то ссылка неправильная в списке.

нет ссылка не может на это повлиять.
Скиньте доступ в ЛС
Админку и Фтп
И я гляну что у вас.

[Reanimaster]

Добрый день. Подскажите по крону пожалуйста.
Как сделать, в самом модуле запуск каждый N день недели. Насколько вижу можно только с N по N.

 

[Reanimaster]

Хотя. Можно же таймаутом в 72 часа, верно?

[Rassol2]

8 часов назад, Reanimaster сказал:

Добрый день. Подскажите по крону пожалуйста.
Как сделать, в самом модуле запуск каждый N день недели. Насколько вижу можно только с N по N.

 

нет такой возможности нет. Можно указывать только периоды.