Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

Привествую!
Давненько меня не было в этой теме )
Не хочет парситься донор, обнаружил проблему еще при предпросмотре в "Парсинг в ИМ", не запуская парсер.
Зашел в "настройки парсинга" и там при предпросмотре, вместо кода страницы, выдало такую надпись:

Спойлер

image.png.358484daa9409ec629af82828426ae0f.png

 

Подскажите пожалуйста что это за проблема и как ее побороть?

Надіслати
Поділитися на інших сайтах


1 минуту назад, RuslanLight сказал:

Подскажите пожалуйста что это за проблема и как ее побороть?

Этот сайт спарить не получится. Он работает на базе js и кода. 

Надіслати
Поділитися на інших сайтах

Это выглядит маловероятным, сайт один из крупнейших маркеплейсов в Европе и еще пол года назад он парсился нормально. Не могли же они за несколкьо месяцев пересадить весь сайт на JS тем более зная что у них над одной кнопкой работает комана из 3-х продакт дизайнеров, т.е. махина настолько большая и бюрократическая что в это вообще сложно поверить 

Надіслати
Поділитися на інших сайтах


1 минуту назад, RuslanLight сказал:

Это выглядит маловероятным, сайт один из крупнейших маркеплейсов в Европе и еще пол года назад он парсился нормально. Не могли же они за несколкьо месяцев пересадить весь сайт на JS тем более зная что у них над одной кнопкой работает комана из 3-х продакт дизайнеров, т.е. махина настолько большая и бюрократическая что в это вообще сложно поверить 

Они просто включили проверку поддержку js в браузерах. У кого отключено информацию не отдают. 
Об этом и написано в вашем примере так что все вероятно. 

Так как на этом функционале у них что то завязано. 

Надіслати
Поділитися на інших сайтах

Блин, но это ж реальный камень преткновения для всех любителей попарсить! 
т.е. боролись. боролись вскими каптчами и другой ерундой, а оказалось заблочить любой парсер оказалось так легко с помощью проверки на исполнение JS!?
Это печально.
Есть ли какие то планы/мысли по преодолению этой проблемы? Потому как, порывшись и в ветке этой темы и на дргих форумах. все чаще вижу что люди с таким сталкиваются.

  • +1 1
Надіслати
Поділитися на інших сайтах


3 минуты назад, RuslanLight сказал:

Блин, но это ж реальный камень преткновения для всех любителей попарсить! 
т.е. боролись. боролись вскими каптчами и другой ерундой, а оказалось заблочить любой парсер оказалось так легко с помощью проверки на исполнение JS!?
Это печально.
Есть ли какие то планы/мысли по преодолению этой проблемы? Потому как, порывшись и в ветке этой темы и на дргих форумах. все чаще вижу что люди с таким сталкиваются.

Не любой, а только те которые не способны интерпретировать javascript а это в свою очередь все парсеры на писанные на PHP.
Да есть и будет решатся в 22 году не раньше.

  • +1 1
Надіслати
Поділитися на інших сайтах

Скажите пожалуйста, не спарсилось 40 ссылок, с ошибкой 503, хотя эти страницы донора открываются, в предпросмотре все корректно. Нужно просто попробовать позже по новой спарсить эти страницы? Или здесь в чем-то другом ошибка? 

Надіслати
Поділитися на інших сайтах


Скажите пожалуйста, не спарсилось 40 ссылок, с ошибкой 503, хотя эти страницы донора открываются, в предпросмотре все корректно. Нужно просто попробовать позже по новой спарсить эти страницы? Или здесь в чем-то другом ошибка? 

503 ошибка гласит что донор несмотря обработать ваш запрос.
Вы можете выбрать ссылки с ошибкой 503 и повторить Парсинга. Если это было связанос нагрузкой на донора то повторный Парсинга сработает.


Отправлено с Телефона используя Tapatalk
Надіслати
Поділитися на інших сайтах

1 час назад, Rassol2 сказал:


503 ошибка гласит что донор несмотря обработать ваш запрос.
Вы можете выбрать ссылки с ошибкой 503 и повторить Парсинга. Если это было связанос нагрузкой на донора то повторный Парсинга сработает.


Отправлено с Телефона используя Tapatalk

Спасибо, попробую завтра еще

Надіслати
Поділитися на інших сайтах


Подскажите пожалуйста, при обновлении цены, на сборе ссылок ставлю "Парсить и обновлять кэш" (подразумевая, что модуль соберет все актуальные ссылки, просканирует код страницы и занесет все в кэш) и уже при "Парсинге в интернет-магазин" ставлю "Создавать/использовать кэш если есть". В итоге все обновляется из старого кэша, и если проверяю в настройках парсинга, ставлю какую-нибудь ссылку, то он берет ее из старого кэша. Получается и при сборе ссылок нужно парсить и обновлять кэш, и при парсинге в интернет-магазин нужно тоже парсить и обновлять кэш? Или я что-то не так понимаю логику работы модуля?

Надіслати
Поділитися на інших сайтах


4 часа назад, khamer89 сказал:

Подскажите пожалуйста, при обновлении цены, на сборе ссылок ставлю "Парсить и обновлять кэш" (подразумевая, что модуль соберет все актуальные ссылки, просканирует код страницы и занесет все в кэш) и уже при "Парсинге в интернет-магазин" ставлю "Создавать/использовать кэш если есть". В итоге все обновляется из старого кэша, и если проверяю в настройках парсинга, ставлю какую-нибудь ссылку, то он берет ее из старого кэша. Получается и при сборе ссылок нужно парсить и обновлять кэш, и при парсинге в интернет-магазин нужно тоже парсить и обновлять кэш? Или я что-то не так понимаю логику работы модуля?

Внимательно подумайте что вы делаете и все станет на свои места.

При сборе ссылок модуль парсить ссылки что я выделил в красный прямоугольник, и же и кеширует, а ссылки найденные на этих страницах добавляет в список ссылок на товар.

Спойлер

3R84uF1.png


А когда вы парсите в им, с включенным использованием кеша, модуль будет тот кеш ссылок на товар что есть.
И поскольку при сборе модуль проходил и обновлял кеш ссылок категорий А НЕ ТОВАРОВ то получается что у товаров у вас не обновлен кеш.

Все придельно логично.
Обратите внимание что просмотрев логи вы бы и сами обнаружили что именно модуль кеширует, а значит могли бы при парсинге в ИМ зайти в логи и найти информацию по интересующей вас ссылки, откуда она была взята и была ли закеширована при сборе.

Надіслати
Поділитися на інших сайтах

Обновление v4.9_stable

Поскольку я не до конца уверен в последней стабильной версии я оставлю доступными обе.
То есть v4.7 и v4.9_stable

Так как ближайшие дни я не смогу быстро решать возникнувшие проблемы (если таковые будут) я оставляю возможность скачать предыдущую версию и откатится обратно.

В этой версии исправление недочетов, и то парочку.
И добавлена возможность в редакторе товаров преобразовать webp в png
Это может пригодится тем пользователям у который webp имеют вырезанный задний фон. То есть такие фото нужно преобразовывать именно в png так как тогда задний фон будет похож на оригинал с webp

Внимание!!!

В моей жизни происходят глобальные изменения 10 числа я улетаю в США, и улетаю с концами.
Так как для меня это новая страна, и все нужно будет обустроить с самого начала у меня не будет возможности оперативно предоставлять техническую поддержку.

Так же у меня появится разница в часовых поясах с вами :(
С Москвой разница -9часов. То есть у вас 12ч дня разгар рабочего времени, а у меня 3ч ночи. У вас 22.00ч у меня 13ч дня.

С Киевом разница  -8часов.То есть у вас 12ч дня разгар рабочего времени, а у меня 4ч ночи. У вас 22.00ч у меня 14ч дня.

Вот эти все вопросы
мне предстоит решить, и я думаю на это у меня уйдет примерно месяц полтора.
Так что все новые возможности начну внедрять уже в 2022году. Это как раз примерно 1.5 месяца.

Лицензионные ключи будут выдаваться в обычном режиме.

Единственное что с 11.11.2021 по 13.11.2021 возможны задержки выдаче лицензионных ключей так как в этот период будут поезда, самолеты, аэропорты, дороги, джетлаки. Так что в этот период буду выдавать ключи как только будет доступ к сети.

В последний рабочий день на старом месте я опубликую информацию об возможных задержках на странице модуля, ну и периодически буду публиковать в ветке модуля что меня технически нет.

  • +1 7
Надіслати
Поділитися на інших сайтах

4 часа назад, Rassol2 сказал:

Обновление v4.9_stable

Поскольку я не до конца уверен в последней стабильной версии я оставлю доступными обе.
То есть v4.7 и v4.9_stable

Так как ближайшие дни я не смогу быстро решать возникнувшие проблемы (если таковые будут) я оставляю возможность скачать предыдущую версию и откатится обратно.

В этой версии исправление недочетов, и то парочку.
И добавлена возможность в редакторе товаров преобразовать webp в png
Это может пригодится тем пользователям у который webp имеют вырезанный задний фон. То есть такие фото нужно преобразовывать именно в png так как тогда задний фон будет похож на оригинал с webp

Внимание!!!

В моей жизни происходят глобальные изменения 10 числа я улетаю в США, и улетаю с концами.
Так как для меня это новая страна, и все нужно будет обустроить с самого начала у меня не будет возможности оперативно предоставлять техническую поддержку.

Так же у меня появится разница в часовых поясах с вами :(
С Москвой разница -9часов. То есть у вас 12ч дня разгар рабочего времени, а у меня 3ч ночи. У вас 22.00ч у меня 13ч дня.

С Киевом разница  -8часов.То есть у вас 12ч дня разгар рабочего времени, а у меня 4ч ночи. У вас 22.00ч у меня 14ч дня.

Вот эти все вопросы
мне предстоит решить, и я думаю на это у меня уйдет примерно месяц полтора.
Так что все новые возможности начну внедрять уже в 2022году. Это как раз примерно 1.5 месяца.

Лицензионные ключи будут выдаваться в обычном режиме.

Единственное что с 11.11.2021 по 13.11.2021 возможны задержки выдаче лицензионных ключей так как в этот период будут поезда, самолеты, аэропорты, дороги, джетлаки. Так что в этот период буду выдавать ключи как только будет доступ к сети.

В последний рабочий день на старом месте я опубликую информацию об возможных задержках на странице модуля, ну и периодически буду публиковать в ветке модуля что меня технически нет.

Круто! Удачи на новом месте!)) Талантливым везде дорога!)

  • +1 2
Надіслати
Поділитися на інших сайтах


7 часов назад, Rassol2 сказал:

В моей жизни происходят глобальные изменения 10 числа я улетаю в США, и улетаю с концами.

Супер! Желаю отлично обосноваться на новом месте и вообще что бы новая страна радовала и давали все плюшки цивилизованного мира!

  • +1 1
Надіслати
Поділитися на інших сайтах


7 часов назад, Rassol2 сказал:

В моей жизни происходят глобальные изменения 10 числа я улетаю в США, и улетаю с концами.
Так как для меня это новая страна, и все нужно будет обустроить с самого начала у меня не будет возможности оперативно предоставлять техническую поддержку.

Удачи! Хорошо устроиться! Надеюсь, на новом месте не потеряете связь с нами и своим проектом :-)

  • +1 1
Надіслати
Поділитися на інших сайтах


3 часа назад, khamer89 сказал:

Круто! Удачи на новом месте!)) Талантливым везде дорога!)

 

45 минут назад, RuslanLight сказал:

Супер! Желаю отлично обосноваться на новом месте и вообще что бы новая страна радовала и давали все плюшки цивилизованного мира!

 

30 минут назад, partshez сказал:

Удачи! Хорошо устроиться! Надеюсь, на новом месте не потеряете связь с нами и своим проектом :-)

 

Спасибо за подержу :oops:

 

Надеюсь быстро обустрою новое рабочие место и ворвусь в старый режим, так как сейчас уже много работы которой я не могу сделать из за возможных перебоев с поддержкой. Так же уже у меня заморожен еше один прекрасный модуль который должен быть очень эмоциональным.
Будем считать что у меня отпуск до конца новогодних праздников :)

  • +1 2
Надіслати
Поділитися на інших сайтах

Так Вам теперь нужно ник изменить, например: Mr Rassol2 или Sir Rassol2... ;)

  • +1 2
Надіслати
Поділитися на інших сайтах


Так Вам теперь нужно ник изменить, например: Mr Rassol2 или Sir Rassol2... [emoji6]

Я страну меняю , а сам остаюсь прежним.
Так что Ник менять пока не буду )))


Отправлено с Телефона используя Tapatalk
Надіслати
Поділитися на інших сайтах

В 27.10.2021 в 08:49, Rassol2 сказал:

Много чем.
Выставляете
 

  Скрыть контент

W0mrY7R.png

 

И у вас всегда последний кеш страницы.
Дальше если вдруг у вас какие то проблемы с ценой или еше с чем то после последнего обновления, включает режим использовать кеш и можете видеть что именно донор вам передавал в последний момент. В данном случаи кеш выступает как машина времени в расследовании причин.

Другой вариант, что то не так с настройками, что то поменяли но не проверили, или случайно зацепили настройку. Спарсили 10 000 товаров и обнаружили проблему.
Идете исправляете проблему и опять же переключаете на использование кеша, убираете паузу парсинга и спокойно с максимальной скоростью повторяете парсинг.
В этом случаи кеш работает в зашиту вас от бана, так как повторно вы не будете делать запросы к донору. И что не мало важно дает вам больше скорости для повторного обновления.

 

Вопрос следующий: можно спарсить в кэш всего донора. Но обновляться цена из кэша с заданным интервалом не будет ведь (например нужно обновление цены по 20к товарам 6 раз в неделю)? Не могу понять, как использовать кэш для этих целей...

 

Надіслати
Поділитися на інших сайтах


3 минуты назад, kostya242 сказал:

Вопрос следующий: можно спарсить в кэш всего донора. Но обновляться цена из кэша с заданным интервалом не будет ведь (например нужно обновление цены по 20к товарам 6 раз в неделю)? Не могу понять, как использовать кэш для этих целей...

Ставите в парсинге Парсить и обновлять кеш.
И каждый раз модуль будет обновлять кеш при обновлении цены.
Прямой выгоды нет в скорости. Но если вдруг у вас будет какой то сбой и вам нужно повторно обновить данные, переключаетесь на использовать кеш и модуль возьмет все данные из него. То есть сможете парсить в 5 потоков без паузы.

То есть кеш это страховка что бы лишний раз не долбить донора если вам нужно что то поправить в обновлении.
В остальном он не нужен.

  • +1 1
Надіслати
Поділитися на інших сайтах

6 минут назад, Rassol2 сказал:

То есть кеш это страховка что бы лишний раз не долбить донора если вам нужно что то поправить в обновлении.
В остальном он не нужен.

 

Обойти возможную блокировку при частом обновлении со стороны донора кэш не позволит, единственный выход - использовать прокси?

Надіслати
Поділитися на інших сайтах


1 минуту назад, kostya242 сказал:

Обойти возможную блокировку при частом обновлении со стороны донора кэш не позволит, единственный выход - использовать прокси?

Да.
Кеш не про обход блокировок, кеш это про увеличение скорости повторного прогона, и снижение риска изначально попадания в блок.
Но если вы там то кеш вам никак не поможет.

Надіслати
Поділитися на інших сайтах

13 часов назад, Rassol2 сказал:

Кеш не про обход блокировок, кеш это про увеличение скорости повторного прогона, и снижение риска изначально попадания в блок.

Еще забыл спросить, при использовании проксей, парсить/обновлять с доноров можно в многопоточном режиме?

Надіслати
Поділитися на інших сайтах


4 минуты назад, kostya242 сказал:

Еще забыл спросить, при использовании проксей, парсить/обновлять с доноров можно в многопоточном режиме?

Нет однозначного ответа.
Прокси это когда вы делаете запрос к посреднику (к прокси) он от своего имени делает запрос на сайт донор.
Затем этот запрос передает вам.
То есть в теории донор получает постоянно запросы от разных ip и ему сложнее определить что запросы однотипные. Но возможно, так как есть еше куки и много других настроек запросов.

Я бы сказал так: используя прокси вы уменьшаете вероятность попасть в бан, но не исключаете её.

  • +1 1
Надіслати
Поділитися на інших сайтах

В внимание с 11.11.2021 по 21.11.2021 техническая поддержка модулю не предоставляется.
Это значит что в этот период я не буду отвечать на личные сообщения!!!

Если техническая поддержка для вас крайне важна, пожалуйста воздержитесь от покупки модуля в этот период.

Лицензионный ключи в это время будут выдаваться в течении суток после покупки, то есть не сразу и не через 10 минут как обычно, а где то в течении суток.

 

Если выше описанное вас не пугает тогда добро пожаловать :wink:
По этой ссылке вы найдете видео уроки по работе с модулем.

Видео уроки по работе с модулем SimplePars

А здесь всегда доступна стандартная инструкция
Инструкция к модулю SimplePars

 

Так же если вам нужна помощь на платной основе вы можете обратится к 

 

Kiyoshi
https://opencartforum.com/profile/670863-kiyoshi/

 

Axelenz
https://opencartforum.com/profile/711240-axelenz/

 

partshez
https://opencartforum.com/profile/832585-partshez/

  • +1 3
Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.