Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

23 минуты назад, Flint2000 сказал:

@yurok79Создать фильтр со всеми товарами этого проекта в редакторе товаров, добавить действие "изменить кол-во товара" = 0, и сохранить этот шаблон, далее в настройках крона В дополнительных действиях выбрать нужный шаблон редактора товаров и установить его выполнять перед заданием крона

СПАСИБО!

Надіслати
Поділитися на інших сайтах


4 минуты назад, smagg сказал:

Подскажите как быть в такой ситуации? Возможно ли спарсить этот сайт?

Скорее всего вы попали под бан у сайта донора за активный долбеж сайта.
Теперь пройдется делать все через прокси.
И настраивать запросы для обхода блокировки.
https://simplepars.top/index.php?page=notes&tag_id=21

Надіслати
Поділитися на інших сайтах

Забыл упомянуть этот редирект показывается всем, пробовал просто зайти на этот сайт с других компьютеров которые у друзей стоят, в другой части города и всем им показывается сначало редирект а потом уже сайт подгружается. 

Надіслати
Поділитися на інших сайтах


Почитал инструкцию про прокси и настройки запросов, если честно ничего не понял, можно попросить Вас помочь с решением этого вопроса, по доброте душевной или же за денежку))) Буду очень благодарен 

Надіслати
Поділитися на інших сайтах


1 час назад, Rassol2 сказал:

Скорее всего вы попали под бан у сайта донора за активный долбеж сайта.
Теперь пройдется делать все через прокси.
И настраивать запросы для обхода блокировки.
https://simplepars.top/index.php?page=notes&tag_id=21

Почитал инструкцию про прокси и настройки запросов, если честно ничего не понял, можно попросить Вас помочь с решением этого вопроса, по доброте душевной или же за денежку))) Буду очень благодарен 

Надіслати
Поділитися на інших сайтах


5 минут назад, smagg сказал:

Почитал инструкцию про прокси и настройки запросов, если честно ничего не понял, можно попросить Вас помочь с решением этого вопроса, по доброте душевной или же за денежку))) Буду очень благодарен 

Я не занимаюсь настройкой модуля, все свободное время трачу на поддержку и развитие.

В данной теме есть люди кто занимаются настройкой надеюсь они вам отпишутся.
@Axelenz @Flint2000 @Kiyoshi @partshez


Ну или вы можете создать запрос на поиск исполнителя в соответствующей ветке форума.

https://opencartforum.com/forum/53-наполнение-магазина/

 

  • +1 1
Надіслати
Поділитися на інших сайтах

35 минут назад, Rassol2 сказал:

Я не занимаюсь настройкой модуля, все свободное время трачу на поддержку и развитие.

В данной теме есть люди кто занимаются настройкой надеюсь они вам отпишутся.
@Axelenz @Flint2000 @Kiyoshi @partshez


Ну или вы можете создать запрос на поиск исполнителя в соответствующей ветке форума.

https://opencartforum.com/forum/53-наполнение-магазина/

 

Спасибо)

Надіслати
Поділитися на інших сайтах


Внимание!!!

 

Смотрю подымается количество пользователей которых приходится отправлять на работу с прокси.
В связи с этим хочу заняться просветительской деятельностью.

В этом мире нет ничего бесплатно, нельзя просто включить 5 потоков и парсить.
За это можно попасть в бан. И кстати не только за это.

Почему вас блокируют?
Допустим у вас есть сайт он стоит на хостинге, и вас начинают парсить. То есть с одного ip приходит за минуту примерно 1000 запросов.
И любой владелец сайта понимает что за одну минуту пользователь не может просмотреть 1000 страниц, наверное это бот. Так же ему пишет хостер что ваш сайт потребляет много ресурсов. Ведь мы понимаем что кроме нас на сайт донор заходят и обычные пользователи.

Что делает владелец сайт?
Правильно блокирует трафик который не похож на обычного пользователя. И еше и ресурсы выедает.

Что делать нам ?
Не доводить до греха. Это первое.
Что бы не попасться не нужно наглеть.

 

1. Не включаете 5 потоков если вы не уверены что сайт донор проглотит такой трафик, и имейте уважение к другим владельцам магазина.

Ведь их сайты начинают тормозить когда вы парсите их и тем самым выедаете ресурсы.

Ресурсы которые донор мог бы потратить на отдачу информации потенциальному покупателю.

 

2. Используйте паузу парсинга.
Поставьте хотя бы диапазон от 0-5 и модуль на каждый запрос будет хаотично выбирать паузу.

То есть пауза

то нет

то пауза в 2 секунды

то пауза в 5 секунд

то в одну.
то снова без паузы.


Имитировать хоть какой то разброс в действиях.

 

3. Используйте кЭш!!!
SimplePars поддерживает кэширования, но я заметил что сейчас никто не использует его.

После выхода этой функции все использовали а сейчас почему то нет.
Смотрите, когда у вас включен кэш, и вы парсите, вы делаете запрос на сайт донор, получаете страницу, модуль ее сохраняет к себе.
Далее выполняет все что вам нужно.
Но если вы что то сделали не так, вы исправляете настройки и снова запускаете парсинг, то модуль уже не долбит вашего донора, а берет данные из архива.
Тем самым вы сокращаете риск попадании в бан к минимуму. Дак еще и + скорость работы раз в 100 увеличивается.

Это когда данные берутся из кэша и кстати из кеша можно парсить в 5 потоков, так как вы берете данные из самого себя.
Я искренен не понимаю почему сейчас это никто не использует.

РЕКОМЕНДУЮ.

4. Если у вас не горят сроки, выставьте задание в крон.

Поставьте паузу в пару секунд.

Включите кэш и пусть ночью все медленно будет сделано.
А если утром обнаружите неправильные настройки, все всегда сможете быстро перепарсить с кэша. Это же идеальный вариант.
 

Ну а если вы уже были пойманы. Тут все печально.
Печально потому что мы не знаем за какие параметры вас ставят на карандаш и дальше нужно подделывать запросы что бы обойти блокировку.
А это уже играй в угадайку. Неизвестно сможете вы угадать или нет.

 

  • +1 2
Надіслати
Поділитися на інших сайтах

Нет , всё таки -актуально ((

Доброго вечера !

 

Вкладка менеджер URL .

не подскажете :  Каким образом отобрать все некешированные товары ? то есть  : not cached .

 

 

Надіслати
Поділитися на інших сайтах


7 минут назад, A26 сказал:

Нет , всё таки -актуально ((

Доброго вечера !

 

Вкладка менеджер URL .

не подскажете :  Каким образом отобрать все некешированные товары ? то есть  : not cached .

Такой настройки нет.
Так как в базу не пишется есть кеш у фото или нет.

Так что в данном случаи такой функции нету.

Надіслати
Поділитися на інших сайтах

Подскажите пожалуйста, как в симпл парс сделать замену "https://www.youtube.com/watch?v=Wf5gGYO8TaS" на пустоту?
Или же, как удалить эту строку заменой по-другому? 
1) https://www.youtube.com/watch?v=|
таким способом получается избавиться лишь частично... А как избавиться от остальных (Wf5gGYO8TaS) произвольных символов и цифр в подобных ссылках?
Спасибо!

Надіслати
Поділитися на інших сайтах


43 минуты назад, A26 сказал:

имел ввиду фильтр по дате кэширования ...

 

А задать диапазон дат возможно  ? 

или каждая дата в новой строке ? 

 

Можно, вот все ссылки которые были закешированы в  третьем месяце с 10 - 19 число.
 

Спойлер

t9IYHQF.png


а вот все за март.
 

Спойлер

aVPKNSu.png

По аналогии можно и за год и так далее.

 

Надіслати
Поділитися на інших сайтах

23 минуты назад, Dim_On сказал:

Подскажите пожалуйста, как в симпл парс сделать замену "https://www.youtube.com/watch?v=Wf5gGYO8TaS" на пустоту?
Или же, как удалить эту строку заменой по-другому? 
1) https://www.youtube.com/watch?v=|
таким способом получается избавиться лишь частично... А как избавиться от остальных (Wf5gGYO8TaS) произвольных символов и цифр в подобных ссылках?
Спасибо!

Здравствуйте.
Напишите где вы приобрели модуль, а именно номер заказа. И я подскажу вам как решить ваш вопрос.

Надіслати
Поділитися на інших сайтах

Спасибо )

если оператор "содержит" - то да можно сделать выборку за март 21года (2021-03 )   и not cached в неё не включается.

а если оператор Отрицание ( не содержит)  -  то выборка пуста . 

Надіслати
Поділитися на інших сайтах


8 минут назад, A26 сказал:

Спасибо )

если оператор "содержит" - то да можно сделать выборку за март 21года (2021-03 )   и not cached в неё не включается.

а если оператор Отрицание ( не содержит)  -  то выборка пуста . 

Из за особенности где модуль берет информацию о дате.
То no ceched ввобше не участвует в выбор.
Если вы выбираете фильтр по дате, то все ссылки что не были кешированы сразу исключаются.

так что как я сказал сейчас нет возможности отобрать ссылки что не кешировались. такого фильтра нет.

Надіслати
Поділитися на інших сайтах

Здравствуйте, почему то "сломался" модуль. В процессе работы по настройке и тестовых выгрузок на вкладке Парсинг ИМ перестала отображаться информация по ссылкам https://prnt.sc/10w11z8 . Парсинг не запускается, часть вкладок слева не переключается и так во всех проектах. Не подскажете в чем проблема.

Змінено користувачем yurok79
Надіслати
Поділитися на інших сайтах


13 минут назад, yurok79 сказал:

Здравствуйте, почему то "сломался" модуль. В процессе работы по настройке и тестовых выгрузок на вкладке Парсинг ИМ перестала отображаться информация по ссылкам https://prnt.sc/10w11z8 . Парсинг не запускается, часть вкладок слева не переключается и так во всех проектах. Не подскажете в чем проблема.

Здравствуйте.
А что вы правили в модуле ?
На вашем скриншоте так же видно что верстка страницы тоже нарушена.
 

Спойлер

4epNwUT.png

 

Надіслати
Поділитися на інших сайтах

Ничего совершенно, во время парсинга выскакивает и все. Из бекапа 2-й раз восстанавливаюсь. возможно попадается какая то ссылка неправильная в списке.

Надіслати
Поділитися на інших сайтах


1 минуту назад, yurok79 сказал:

Ничего совершенно, во время парсинга выскакивает и все. Из бекапа 2-й раз восстанавливаюсь. возможно попадается какая то ссылка неправильная в списке.

нет ссылка не может на это повлиять.
Скиньте доступ в ЛС
Админку и Фтп
И я гляну что у вас.

Надіслати
Поділитися на інших сайтах

Добрый день. Подскажите по крону пожалуйста.
Как сделать, в самом модуле запуск каждый N день недели. Насколько вижу можно только с N по N.

 

Надіслати
Поділитися на інших сайтах


8 часов назад, Reanimaster сказал:

Добрый день. Подскажите по крону пожалуйста.
Как сделать, в самом модуле запуск каждый N день недели. Насколько вижу можно только с N по N.

 

нет такой возможности нет. Можно указывать только периоды.

Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.