[Поддержка] SimplePars - Универсальный парсер для ИМ

[RuslanLight]

Привествую!
Давненько меня не было в этой теме )
Не хочет парситься донор, обнаружил проблему еще при предпросмотре в "Парсинг в ИМ", не запуская парсер.
Зашел в "настройки парсинга" и там при предпросмотре, вместо кода страницы, выдало такую надпись:

Спойлер

 

Подскажите пожалуйста что это за проблема и как ее побороть?

[Rassol2]

1 минуту назад, RuslanLight сказал:

Подскажите пожалуйста что это за проблема и как ее побороть?

Этот сайт спарить не получится. Он работает на базе js и кода. 

[RuslanLight]

Это выглядит маловероятным, сайт один из крупнейших маркеплейсов в Европе и еще пол года назад он парсился нормально. Не могли же они за несколкьо месяцев пересадить весь сайт на JS тем более зная что у них над одной кнопкой работает комана из 3-х продакт дизайнеров, т.е. махина настолько большая и бюрократическая что в это вообще сложно поверить 

[Rassol2]

1 минуту назад, RuslanLight сказал:

Это выглядит маловероятным, сайт один из крупнейших маркеплейсов в Европе и еще пол года назад он парсился нормально. Не могли же они за несколкьо месяцев пересадить весь сайт на JS тем более зная что у них над одной кнопкой работает комана из 3-х продакт дизайнеров, т.е. махина настолько большая и бюрократическая что в это вообще сложно поверить 

Они просто включили проверку поддержку js в браузерах. У кого отключено информацию не отдают. 
Об этом и написано в вашем примере так что все вероятно. 

Так как на этом функционале у них что то завязано. 

[RuslanLight]

Блин, но это ж реальный камень преткновения для всех любителей попарсить! 
т.е. боролись. боролись вскими каптчами и другой ерундой, а оказалось заблочить любой парсер оказалось так легко с помощью проверки на исполнение JS!?
Это печально.
Есть ли какие то планы/мысли по преодолению этой проблемы? Потому как, порывшись и в ветке этой темы и на дргих форумах. все чаще вижу что люди с таким сталкиваются.

[Rassol2]

3 минуты назад, RuslanLight сказал:

Блин, но это ж реальный камень преткновения для всех любителей попарсить! 
т.е. боролись. боролись вскими каптчами и другой ерундой, а оказалось заблочить любой парсер оказалось так легко с помощью проверки на исполнение JS!?
Это печально.
Есть ли какие то планы/мысли по преодолению этой проблемы? Потому как, порывшись и в ветке этой темы и на дргих форумах. все чаще вижу что люди с таким сталкиваются.

Не любой, а только те которые не способны интерпретировать javascript а это в свою очередь все парсеры на писанные на PHP.
Да есть и будет решатся в 22 году не раньше.

[khamer89]

Скажите пожалуйста, не спарсилось 40 ссылок, с ошибкой 503, хотя эти страницы донора открываются, в предпросмотре все корректно. Нужно просто попробовать позже по новой спарсить эти страницы? Или здесь в чем-то другом ошибка? 

[Rassol2]

Скажите пожалуйста, не спарсилось 40 ссылок, с ошибкой 503, хотя эти страницы донора открываются, в предпросмотре все корректно. Нужно просто попробовать позже по новой спарсить эти страницы? Или здесь в чем-то другом ошибка? 

503 ошибка гласит что донор несмотря обработать ваш запрос.
Вы можете выбрать ссылки с ошибкой 503 и повторить Парсинга. Если это было связанос нагрузкой на донора то повторный Парсинга сработает.


Отправлено с Телефона используя Tapatalk

[khamer89]

1 час назад, Rassol2 сказал:

503 ошибка гласит что донор несмотря обработать ваш запрос.
Вы можете выбрать ссылки с ошибкой 503 и повторить Парсинга. Если это было связанос нагрузкой на донора то повторный Парсинга сработает.


Отправлено с Телефона используя Tapatalk

Спасибо, попробую завтра еще

[khamer89]

Подскажите пожалуйста, при обновлении цены, на сборе ссылок ставлю "Парсить и обновлять кэш" (подразумевая, что модуль соберет все актуальные ссылки, просканирует код страницы и занесет все в кэш) и уже при "Парсинге в интернет-магазин" ставлю "Создавать/использовать кэш если есть". В итоге все обновляется из старого кэша, и если проверяю в настройках парсинга, ставлю какую-нибудь ссылку, то он берет ее из старого кэша. Получается и при сборе ссылок нужно парсить и обновлять кэш, и при парсинге в интернет-магазин нужно тоже парсить и обновлять кэш? Или я что-то не так понимаю логику работы модуля?

[Rassol2]

4 часа назад, khamer89 сказал:

Подскажите пожалуйста, при обновлении цены, на сборе ссылок ставлю "Парсить и обновлять кэш" (подразумевая, что модуль соберет все актуальные ссылки, просканирует код страницы и занесет все в кэш) и уже при "Парсинге в интернет-магазин" ставлю "Создавать/использовать кэш если есть". В итоге все обновляется из старого кэша, и если проверяю в настройках парсинга, ставлю какую-нибудь ссылку, то он берет ее из старого кэша. Получается и при сборе ссылок нужно парсить и обновлять кэш, и при парсинге в интернет-магазин нужно тоже парсить и обновлять кэш? Или я что-то не так понимаю логику работы модуля?

Внимательно подумайте что вы делаете и все станет на свои места.

При сборе ссылок модуль парсить ссылки что я выделил в красный прямоугольник, и же и кеширует, а ссылки найденные на этих страницах добавляет в список ссылок на товар.

Спойлер

А когда вы парсите в им, с включенным использованием кеша, модуль будет тот кеш ссылок на товар что есть.
И поскольку при сборе модуль проходил и обновлял кеш ссылок категорий А НЕ ТОВАРОВ то получается что у товаров у вас не обновлен кеш.

Все придельно логично.
Обратите внимание что просмотрев логи вы бы и сами обнаружили что именно модуль кеширует, а значит могли бы при парсинге в ИМ зайти в логи и найти информацию по интересующей вас ссылки, откуда она была взята и была ли закеширована при сборе.

[Rassol2]

Обновление v4.9_stable

Поскольку я не до конца уверен в последней стабильной версии я оставлю доступными обе.
То есть v4.7 и v4.9_stable

Так как ближайшие дни я не смогу быстро решать возникнувшие проблемы (если таковые будут) я оставляю возможность скачать предыдущую версию и откатится обратно.

В этой версии исправление недочетов, и то парочку.
И добавлена возможность в редакторе товаров преобразовать webp в png
Это может пригодится тем пользователям у который webp имеют вырезанный задний фон. То есть такие фото нужно преобразовывать именно в png так как тогда задний фон будет похож на оригинал с webp

Внимание!!!

В моей жизни происходят глобальные изменения 10 числа я улетаю в США, и улетаю с концами.
Так как для меня это новая страна, и все нужно будет обустроить с самого начала у меня не будет возможности оперативно предоставлять техническую поддержку.

Так же у меня появится разница в часовых поясах с вами
С Москвой разница -9часов. То есть у вас 12ч дня разгар рабочего времени, а у меня 3ч ночи. У вас 22.00ч у меня 13ч дня.

С Киевом разница  -8часов.То есть у вас 12ч дня разгар рабочего времени, а у меня 4ч ночи. У вас 22.00ч у меня 14ч дня.

Вот эти все вопросы мне предстоит решить, и я думаю на это у меня уйдет примерно месяц полтора.
Так что все новые возможности начну внедрять уже в 2022году. Это как раз примерно 1.5 месяца.

Лицензионные ключи будут выдаваться в обычном режиме.

Единственное что с 11.11.2021 по 13.11.2021 возможны задержки выдаче лицензионных ключей так как в этот период будут поезда, самолеты, аэропорты, дороги, джетлаки. Так что в этот период буду выдавать ключи как только будет доступ к сети.

В последний рабочий день на старом месте я опубликую информацию об возможных задержках на странице модуля, ну и периодически буду публиковать в ветке модуля что меня технически нет.

[khamer89]

4 часа назад, Rassol2 сказал:

Обновление v4.9_stable

Поскольку я не до конца уверен в последней стабильной версии я оставлю доступными обе.
То есть v4.7 и v4.9_stable

Так как ближайшие дни я не смогу быстро решать возникнувшие проблемы (если таковые будут) я оставляю возможность скачать предыдущую версию и откатится обратно.

В этой версии исправление недочетов, и то парочку.
И добавлена возможность в редакторе товаров преобразовать webp в png
Это может пригодится тем пользователям у который webp имеют вырезанный задний фон. То есть такие фото нужно преобразовывать именно в png так как тогда задний фон будет похож на оригинал с webp

Внимание!!!

В моей жизни происходят глобальные изменения 10 числа я улетаю в США, и улетаю с концами.
Так как для меня это новая страна, и все нужно будет обустроить с самого начала у меня не будет возможности оперативно предоставлять техническую поддержку.

Так же у меня появится разница в часовых поясах с вами
С Москвой разница -9часов. То есть у вас 12ч дня разгар рабочего времени, а у меня 3ч ночи. У вас 22.00ч у меня 13ч дня.

С Киевом разница  -8часов.То есть у вас 12ч дня разгар рабочего времени, а у меня 4ч ночи. У вас 22.00ч у меня 14ч дня.

Вот эти все вопросы мне предстоит решить, и я думаю на это у меня уйдет примерно месяц полтора.
Так что все новые возможности начну внедрять уже в 2022году. Это как раз примерно 1.5 месяца.

Лицензионные ключи будут выдаваться в обычном режиме.

Единственное что с 11.11.2021 по 13.11.2021 возможны задержки выдаче лицензионных ключей так как в этот период будут поезда, самолеты, аэропорты, дороги, джетлаки. Так что в этот период буду выдавать ключи как только будет доступ к сети.

В последний рабочий день на старом месте я опубликую информацию об возможных задержках на странице модуля, ну и периодически буду публиковать в ветке модуля что меня технически нет.

Круто! Удачи на новом месте!)) Талантливым везде дорога!)

[RuslanLight]

7 часов назад, Rassol2 сказал:

В моей жизни происходят глобальные изменения 10 числа я улетаю в США, и улетаю с концами.

Супер! Желаю отлично обосноваться на новом месте и вообще что бы новая страна радовала и давали все плюшки цивилизованного мира!

[partshez]

7 часов назад, Rassol2 сказал:

В моей жизни происходят глобальные изменения 10 числа я улетаю в США, и улетаю с концами.
Так как для меня это новая страна, и все нужно будет обустроить с самого начала у меня не будет возможности оперативно предоставлять техническую поддержку.

Удачи! Хорошо устроиться! Надеюсь, на новом месте не потеряете связь с нами и своим проектом 

[Rassol2]

3 часа назад, khamer89 сказал:

Круто! Удачи на новом месте!)) Талантливым везде дорога!)

 

45 минут назад, RuslanLight сказал:

Супер! Желаю отлично обосноваться на новом месте и вообще что бы новая страна радовала и давали все плюшки цивилизованного мира!

 

30 минут назад, partshez сказал:

Удачи! Хорошо устроиться! Надеюсь, на новом месте не потеряете связь с нами и своим проектом 

 

Спасибо за подержу

 

Надеюсь быстро обустрою новое рабочие место и ворвусь в старый режим, так как сейчас уже много работы которой я не могу сделать из за возможных перебоев с поддержкой. Так же уже у меня заморожен еше один прекрасный модуль который должен быть очень эмоциональным.
Будем считать что у меня отпуск до конца новогодних праздников

[Axelenz]

Так Вам теперь нужно ник изменить, например: Mr Rassol2 или Sir Rassol2...

[Rassol2]

Так Вам теперь нужно ник изменить, например: Mr Rassol2 или Sir Rassol2... [emoji6]

Я страну меняю , а сам остаюсь прежним.
Так что Ник менять пока не буду )))


Отправлено с Телефона используя Tapatalk

[kostya242]

В 27.10.2021 в 08:49, Rassol2 сказал:

Много чем.
Выставляете
 

  Скрыть контент

 

И у вас всегда последний кеш страницы.
Дальше если вдруг у вас какие то проблемы с ценой или еше с чем то после последнего обновления, включает режим использовать кеш и можете видеть что именно донор вам передавал в последний момент. В данном случаи кеш выступает как машина времени в расследовании причин.

Другой вариант, что то не так с настройками, что то поменяли но не проверили, или случайно зацепили настройку. Спарсили 10 000 товаров и обнаружили проблему.
Идете исправляете проблему и опять же переключаете на использование кеша, убираете паузу парсинга и спокойно с максимальной скоростью повторяете парсинг.
В этом случаи кеш работает в зашиту вас от бана, так как повторно вы не будете делать запросы к донору. И что не мало важно дает вам больше скорости для повторного обновления.

 

Вопрос следующий: можно спарсить в кэш всего донора. Но обновляться цена из кэша с заданным интервалом не будет ведь (например нужно обновление цены по 20к товарам 6 раз в неделю)? Не могу понять, как использовать кэш для этих целей...

 

[Rassol2]

3 минуты назад, kostya242 сказал:

Вопрос следующий: можно спарсить в кэш всего донора. Но обновляться цена из кэша с заданным интервалом не будет ведь (например нужно обновление цены по 20к товарам 6 раз в неделю)? Не могу понять, как использовать кэш для этих целей...

Ставите в парсинге Парсить и обновлять кеш.
И каждый раз модуль будет обновлять кеш при обновлении цены.
Прямой выгоды нет в скорости. Но если вдруг у вас будет какой то сбой и вам нужно повторно обновить данные, переключаетесь на использовать кеш и модуль возьмет все данные из него. То есть сможете парсить в 5 потоков без паузы.

То есть кеш это страховка что бы лишний раз не долбить донора если вам нужно что то поправить в обновлении.
В остальном он не нужен.

[kostya242]

6 минут назад, Rassol2 сказал:

То есть кеш это страховка что бы лишний раз не долбить донора если вам нужно что то поправить в обновлении.
В остальном он не нужен.

 

Обойти возможную блокировку при частом обновлении со стороны донора кэш не позволит, единственный выход - использовать прокси?

[Rassol2]

1 минуту назад, kostya242 сказал:

Обойти возможную блокировку при частом обновлении со стороны донора кэш не позволит, единственный выход - использовать прокси?

Да.
Кеш не про обход блокировок, кеш это про увеличение скорости повторного прогона, и снижение риска изначально попадания в блок.
Но если вы там то кеш вам никак не поможет.

[kostya242]

13 часов назад, Rassol2 сказал:

Кеш не про обход блокировок, кеш это про увеличение скорости повторного прогона, и снижение риска изначально попадания в блок.

Еще забыл спросить, при использовании проксей, парсить/обновлять с доноров можно в многопоточном режиме?

[Rassol2]

4 минуты назад, kostya242 сказал:

Еще забыл спросить, при использовании проксей, парсить/обновлять с доноров можно в многопоточном режиме?

Нет однозначного ответа.
Прокси это когда вы делаете запрос к посреднику (к прокси) он от своего имени делает запрос на сайт донор.
Затем этот запрос передает вам.
То есть в теории донор получает постоянно запросы от разных ip и ему сложнее определить что запросы однотипные. Но возможно, так как есть еше куки и много других настроек запросов.

Я бы сказал так: используя прокси вы уменьшаете вероятность попасть в бан, но не исключаете её.

[Rassol2]

В внимание с 11.11.2021 по 21.11.2021 техническая поддержка модулю не предоставляется.
Это значит что в этот период я не буду отвечать на личные сообщения!!!

Если техническая поддержка для вас крайне важна, пожалуйста воздержитесь от покупки модуля в этот период.

Лицензионный ключи в это время будут выдаваться в течении суток после покупки, то есть не сразу и не через 10 минут как обычно, а где то в течении суток.
 

Если выше описанное вас не пугает тогда добро пожаловать 
По этой ссылке вы найдете видео уроки по работе с модулем.

Видео уроки по работе с модулем SimplePars

А здесь всегда доступна стандартная инструкция
Инструкция к модулю SimplePars

 

Так же если вам нужна помощь на платной основе вы можете обратится к 

 

Kiyoshi
https://opencartforum.com/profile/670863-kiyoshi/

 

Axelenz
https://opencartforum.com/profile/711240-axelenz/

 

partshez
https://opencartforum.com/profile/832585-partshez/