[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

08.03.2023 в 12:00, Axelenz сказал:

Я являюсь постоянным пользователем SimplePars и выполняю с его помощью все задания исключительно для своих ЗАКАЗЧИКОВ. Всё, что я пишу про то, что хотелось бы видеть дополнительно в модуле продиктовано именно возможностью решений задач моих ЗАКАЗЧИКОВ. Поэтому всё, что пишите Вы - Вы пишите именно для них...

Я не про это. 
Надеюсь мы в итоге поняли друг друга. 

[SellR]

кто может настроить парсер ?

какой ценник?

парсер установлен. 

[yurok79]

Столкнулся с такой проблемой, при импорте из промовского xml часто товаров отображаеться с белым фоном вместо фото. 

В журнале ошибок

PHP Warning:  imagecopyresampled() expects parameter 2 to be resource, null given in /home2/gadgetci/storage_gadget/modification/system/library/image.php on line 182

Причем если убрать из ссылки на этот белый квадрат /cache/ и расширение в конце, то есть преобразовать ее в ссылку на оригинал фото, фото открываеться.

Отсюда делаю вывод, что опенкарт не может корректно преобразовать фото в кешированное фото для вывода на сайт. Если сохранить такое фото то графическими редакторами оно не открывается, в браузере открывается без проблем.

Какие будут мысли как это побороть?

[Rassol2]

09.03.2023 в 06:07, yurok79 сказал:

Столкнулся с такой проблемой, при импорте из промовского xml часто товаров отображаеться с белым фоном вместо фото. 

В журнале ошибок

PHP Warning:  imagecopyresampled() expects parameter 2 to be resource, null given in /home2/gadgetci/storage_gadget/modification/system/library/image.php on line 182

Причем если убрать из ссылки на этот белый квадрат /cache/ и расширение в конце, то есть преобразовать ее в ссылку на оригинал фото, фото открываеться.

Отсюда делаю вывод, что опенкарт не может корректно преобразовать фото в кешированное фото для вывода на сайт. Если сохранить такое фото то графическими редакторами оно не открывается, в браузере открывается без проблем.

Какие будут мысли как это побороть?

Скорее всего это фото в формате webp. Если в ссылке написано расширение .webp в ссылке на фото, то смело используйте конвертор webp в jpg или png встроенный в модуль simplepars

Настройки париснга в им, вкладка Данные.
 

Скрытый текст

Если формат фото не webp а по факту он, ну тут сорян нужно искать внешний редактор фото который сможете это сделать.
Мой модуль пока не способен такое разрешить.

За последнее время это фунция становится более востребованная так что после открытия сезона разработки это будет приоритетом.
Я имею в виду научить как то распозновать webp когда он подписан как jpg . И конвертировать их.
Тот случай когда фунция была дополнительной а становиться реально востребованной.

Странно что в opencart до сих пор не сделали модуль который сделает возможный работать с фото webp напрямую.
Автора, пора бы уже

[partshez]

09.03.2023 в 14:18, Rassol2 сказал:

Скорее всего это фото в формате webp. Если в ссылке написано расширение .webp в ссылке на фото, то смело используйте конвертор webp в jpg или png встроенный в модуль simplepars

Настройки париснга в им, вкладка Данные.
 

  Показать содержимое

Если формат фото не webp а по факту он, ну тут сорян нужно искать внешний редактор фото который сможете это сделать.
Мой модуль пока не способен такое разрешить.

За последнее время это фунция становится более востребованная так что после открытия сезона разработки это будет приоритетом.
Я имею в виду научить как то распозновать webp когда он подписан как jpg . И конвертировать их.
Тот случай когда фунция была дополнительной а становиться реально востребованной.

Странно что в opencart до сих пор не сделали модуль который сделает возможный работать с фото webp напрямую.
Автора, пора бы уже

Добавлю. Именно в промовском xml столкнулся. Все фото .ipg в выгрузке. Но часть из них действительно .ipg, а некоторые webp, подписанные .ipg.  Делаю замену расширения. При любом варианте - с заменой или без замены, половина фото остаются нечитаемыми. Или ipg загружаются, или webp. Как отделить, способа не нашел

[Rassol2]

09.03.2023 в 06:48, partshez сказал:

Добавлю. Именно в промовском xml столкнулся. Все фото .ipg в выгрузке. Но часть из них действительно .ipg, а некоторые webp, подписанные .ipg.  Делаю замену расширения. При любом варианте - с заменой или без замены, половина фото остаются нечитаемыми. Или ipg загружаются, или webp. Как отделить, способа не нашел

Если вы говорите про банальную замену расширение с jpg на webp через поиск замену в ссылке на фото, то это и не должно работать.
Такой подход будет работать только в том случаи если фото доступно по ссылке с оконанием .webp если не доступно то такая замена приводит на страницу 404 и она же записывается в файл как фото, каковым не является. И это не будет работать.
 

[yurok79]

В общем решений нет( с Промом такое не первый раз просто раньше фото были реально битые не отображалось ничего, а тут белые квадраты. Может можно как то сделать чтобы фото на сайт грузило не из кеша а оригиналы? Оригиналы в браузере нормально открываются.

[Rassol2]

09.03.2023 в 11:56, yurok79 сказал:

В общем решений нет( с Промом такое не первый раз просто раньше фото были реально битые не отображалось ничего, а тут белые квадраты. Может можно как то сделать чтобы фото на сайт грузило не из кеша а оригиналы? Оригиналы в браузере нормально открываются.

Вы можете сюда скинуть ссылку на одно из таких фото, но сюда а не в ЛС.

Ссылку на фото у донора которое после скачивания у вас в оригинале работает а после кеша нет. Я хочу посмотреть webp это или нет.

[Rassol2]

@yurok79 Отключение кеширования опенкарт это максимально плохая идея.
На сайте есть 100500 разных мест где выводится фото, и они выводятся в разном размере, гдето 600x600 где то полный размер который может составлять 2000х2000

Отключение кеширования приведет к тому что скорость загрузки страниц упадет, вес страницы улетит в космос. О работе с сайтом с телефона с слабым подключением можно сразу забыть.

К примеру у вас страница с категориями имеет 25 товаров.
Выводится по одной заглавной фотке которая весит в оригинале 2.5мб.

Ну вот теперь легкий расчет.
25*2.5м = 62.5мб будет весить только фото страницы.

А опенкарт в стандарте обрезает все лишние уменьшает размер фото, скорашает вес страницы, сокрашает время загрузи страницы, скрашает трафик.
А это все влияет и на выдачу в поисковиках.

Короче это мега важная функция. Это я еше не коснулся вопроса когда при кешировании доклеивают водяные знаки.

[yurok79]

09.03.2023 в 19:58, Rassol2 сказал:

Вы можете сюда скинуть ссылку на одно из таких фото, но сюда а не в ЛС.

Ссылку на фото у донора которое после скачивания у вас в оригинале работает а после кеша нет. Я хочу посмотреть webp это или нет.

https://images.prom.ua/4097000966_vagi-elektronni-pobutovi.jpg

[Rassol2]

09.03.2023 в 12:43, yurok79 сказал:

https://images.prom.ua/4097000966_vagi-elektronni-pobutovi.jpg

Вот это и есть тот самый случай когда у донора фото по факту webp а подписано как jpg
 

Скрытый текст

Это тот случай что я описываю, здесь написанная мною фунцию по преобразованию webp в jpg не может работать, так как она не видет что данные фото нужно преобразовывать, оне не может их отловить что бы отправить на преобразование.
А отправка на преобразования всех фото в формате jpg приведет к тому что все фото будут битые которые не webp

В вашем случаи нужно парсить как есть, и любой сторонней программой прогнать фото и преобразовать, затем вернуть назад на сайт.

[partshez]

Прошу помощь, подсказку. Есть проект 123. В нем два товара. Созданы поля upc.     https://prnt.sc/4cdprTgbbdL5

Есть проект 124. В нем ссылки на опции двух товаров из проекта 123  https://prnt.sc/LPiIMLUIEaUn    В каждом товаре по три опции - 6 ссылок. Пытаюсь загрузить в два товара опции проектом 124 по идентификатору upc. Один товар обновляется, второй нет. В Логах нет обработки второго товара. https://prnt.sc/2JrrxEvTS8Y5   upc второго товара модуль не видит на сайте. Пробовал уже на двух сайтах. 

123.json 124.json

Змінено 10 березня 2023 користувачем partshez

[butuzoff]

Здравствуйте. 
SimplePars v4.9-4_beta
Помогите пожалуйста разобраться
Хочу спарсить изображения из описания себе на сервер
В итоге картинки не скачиваются а маячки просто отображаются в коде
1. Картинки на доноре с абсолютными путями и указывают на другой хост 
2. Картинки в формате .svg

 

Пример фрагмента кода с картинкой

 

 

<li><img class="alignnone lozad size-medium wp-image-53483"  title="Гігієна" src="/wp-content/themes/teka/img/px.png"  data-src="https://d7rh5s3nxmpy4.cloudfront.net/CMP1219/files/Hygiene.svg" data-term="53483" alt="" width="50" height="50" /> </li>

 

 

Правила

src="/wp-content/themes/teka/img/px.png"|
<img|{img}
<{skip}>|
data-|

 

 

Результат парсинга

 

 

{img} class="alignnone lozad size-medium wp-image-53483"  title="Гігієна"   src="https://d7rh5s3nxmpy4.cloudfront.net/CMP1219/files/Hygiene.svg" term="53483" alt="" width="50" height="50" />

 

[Rassol2]

11.03.2023 в 09:06, butuzoff сказал:

Здравствуйте. 
SimplePars v4.9-4_beta
Помогите пожалуйста разобраться
Хочу спарсить изображения из описания себе на сервер
В итоге картинки не скачиваются а маячки просто отображаются в коде
1. Картинки на доноре с абсолютными путями и указывают на другой хост 
2. Картинки в формате .svg

Здравствуйте.
Попробуйте добавить вторым правилом вот это
data-src|src=
Именно сюда, и попробуйте еще раз.

Скрытый текст

Так на вскидку не вижу проблем в работе.
Если останется скиньте файл настроек и я проверю.

[butuzoff]

11.03.2023 в 20:03, Rassol2 сказал:

Здравствуйте.
Попробуйте добавить вторым правилом вот это
data-src|src=
Именно сюда, и попробуйте еще раз.

  Показать содержимое

Так на вскидку не вижу проблем в работе.
Если останется скиньте файл настроек и я проверю.

Спасибо. Тут я немного протупил, я понял что обрабатывается только поле description. Я же решил запихнуть это все  MPN предварительно изменив тип поля в бд и убрав ограничение символов в  модели simplepars,
Но остался еще один момент, картинки на доноре в SVG, модуль скачивает и меняет расширение на JPG

[Rassol2]

11.03.2023 в 12:40, butuzoff сказал:

Но остался еще один момент, картинки на доноре в SVG, модуль скачивает и меняет расширение на JPG

Открываете файл
admin/model/catalog/simplepars.php
И поиском по куску строки найдите.
$ext = (preg_match('#(^jpeg)|(^jpg)|(^png)|(^jpe)
Она должна выглядеть так.

$ext = (preg_match('#(^jpeg)|(^jpg)|(^png)|(^jpe)|(^webp)|(^gif)|(^bmp)|(^svg)#i', $exec['extension'])) ? '.'.$exec['extension'] : '.jpg';

Если у вас в этой строке такого нет замените на мою.
Я правил что бы модуль не менял расширения svg на jpg

[nikoshot]

Подскажите есть ли возможность скопировать проект? Вернее сделать его копию.. Задача такая..

Есть 6000к ссылок.. при работе обновления все норм..

Но когда добавляю товары то я отсекаю часть товаров  через функцию Использовать проверку границ?

И получается модуль обробатывает все 6000к ссылок но на сайт попадает только часть товаров так как я отсекаю через проверку границ.. И как оказалось что когда делаю обновление то импорт проходит за 2,5 часа.. когда делаю добавление то ему не хватило 6 часов.. и 6к ссылок обработано всего 4к

По этому хочу сразу отфильтрвать ссылки на этапе сбора.. благо есть такая возможность.. что бы один проект на 6к обновлял все товары которые есть..

а второй проект например там останется 2к ссылок что добавлял..

[Rassol2]

12.03.2023 в 05:14, nikoshot сказал:

Подскажите есть ли возможность скопировать проект? Вернее сделать его копию.. Задача такая..

Есть 6000к ссылок.. при работе обновления все норм..

Но когда добавляю товары то я отсекаю часть товаров  через функцию Использовать проверку границ?

И получается модуль обробатывает все 6000к ссылок но на сайт попадает только часть товаров так как я отсекаю через проверку границ.. И как оказалось что когда делаю обновление то импорт проходит за 2,5 часа.. когда делаю добавление то ему не хватило 6 часов.. и 6к ссылок обработано всего 4к

По этому хочу сразу отфильтрвать ссылки на этапе сбора.. благо есть такая возможность.. что бы один проект на 6к обновлял все товары которые есть..

а второй проект например там останется 2к ссылок что добавлял..

Есть такая функция. Откройте вкладку Импорт/Экспорт Настроек эта вкладка сама за себя говорит. Как мне казалось

[nikoshot]

12.03.2023 в 12:19, Rassol2 сказал:

Есть такая функция. Откройте вкладку Импорт/Экспорт Настроек эта вкладка сама за себя говорит. Как мне казалось

Есть.. спасибо.. Но ожидал ее увидеть в более привычном месте.. (для меня)

тут 

или тут 

 

[Rassol2]

12.03.2023 в 05:42, nikoshot сказал:

Есть.. спасибо.. Но ожидал ее увидеть в более привычном месте.. (для меня)

тут 

Скрытый текст

 

или тут 

 

Скрытый текст

 

 

Ну на первом суриншоте может быть такая кнопка если вы переносите все настройки всех проектов а не конкретного.
А второе место не совсем понимаю где, но все же ставить в один ряд кнопки старт парсинга и перенос проекта было бы как то не сильно логично.
Ведь переносить проект не нужно так часто как сохранять настройки или запускать парсинг.

Плюс в обоих местах не разместить доп настройки.
А вот отдельная вкладка где есть настройки переноса самое то.

[Denkof]

Подскажите пожалуйста. Никак не могу решить проблему. Ищу по ветке, вроде и инфа есть относительно этого вопроса, и инструкцию уже который раз перечитываю, не а решения не нахожу.

Постановка вопроса: парсер разбирает хмл файл, граница для картинки = тег имеж с хмл файла. Парсер скачивает фотки на сервер, и (как и у всех) куча фоток с одинаковым названием. 

Вопрос: как перезаписывать фотки с одинаковым названием?
Т.е. в ветке есть сообщения польователей, которые пишут что у них, как раз, перезаписываются фотки с одинаковым названием, и они пытаются от этого избавиться. А мне как раз этого нужно достигнуть. Но как?

В одном из постов автор модуля пишет, что есть два файла 1.png и 1.png - одинаковые фото или нет - в моем случае фото одинаковые, т.е дубли, т.е. должны быть перезаписаны один поверх другого сколько бы такой повтор не встречался.

Как перезаписывать загружаемые изображения с одинаковым названием?

Ткните меня носом пожалуйста, не вижу как решить и все.

[Rassol2]

14.03.2023 в 06:26, Denkof сказал:

Подскажите пожалуйста. Никак не могу решить проблему. Ищу по ветке, вроде и инфа есть относительно этого вопроса, и инструкцию уже который раз перечитываю, не а решения не нахожу.

Постановка вопроса: парсер разбирает хмл файл, граница для картинки = тег имеж с хмл файла. Парсер скачивает фотки на сервер, и (как и у всех) куча фоток с одинаковым названием. 

Вопрос: как перезаписывать фотки с одинаковым названием?
Т.е. в ветке есть сообщения польователей, которые пишут что у них, как раз, перезаписываются фотки с одинаковым названием, и они пытаются от этого избавиться. А мне как раз этого нужно достигнуть. Но как?

В одном из постов автор модуля пишет, что есть два файла 1.png и 1.png - одинаковые фото или нет - в моем случае фото одинаковые, т.е дубли, т.е. должны быть перезаписаны один поверх другого сколько бы такой повтор не встречался.

Как перезаписывать загружаемые изображения с одинаковым названием?

Ткните меня носом пожалуйста, не вижу как решить и все.

Вам нужно достигнуть того что бы фото с одинаковым названием перезаписывались. ? 
если да, то этого не достичь. 

[Denkof]

14.03.2023 в 13:30, Rassol2 сказал:

Вам нужно достигнуть того что бы фото с одинаковым названием перезаписывались. ? 
если да, то этого не достичь. 

Да, нужно именно этого достичь. Жаль. Хм, странно, как же перезаписываются файлы у некоторых пользователей? Или это скорее баг а не какая-то конструкция обработки данных?

[cooperoff2]

Доброго времени суток. Сайт донор изменил свой сайт. Теперь при первом посещении открывается гифка "круг загрузки", потом прогружается весь сайт. При попытке спарсить страницы, парсер не может прогрузить всю страницу. Куки все прописал. Не знаю, как исправить. Подтолкните, пожалуйста, в сторону решения. Парсится только такая разметка страницы:

 

Скрытый текст

1. #[url]https://green-spark.ru/catalog/komplektuyushchie_dlya_remonta/zapchasti_dlya_apple/displei/displey_dlya_ipod_touch_4e_pokolenie_tachskrin_chernyy.html[/url]
2. <html><head><meta name="robots" content="noindex, noarchive" /><style>.gorizontal-vertikal {position: absolute;margin: auto;top: 0;right: 0;bottom: 0;left: 0;width: 66px;height: 66px;}</style></head>
3. <body><div class="gorizontal-vertikal"><img src="data:image/gif;base64,R0lGODlhQgBCAPMAAP///wAAAExMTHp6etzc3KCgoPj4+BwcHMLCwgAAAAAAAAAAAAAAAAAAAAAAAAAAACH/C05FVFNDQVBFMi4wAwEAAAAh/hpDcmVhdGVkIHdpdGggYWpheGxvYWQuaW5mbwAh+QQJCgAAACwAAAAAQgBCAAAE/xDISau9VBzMu/8VcRTWsVXFYYBsS4knZZYH4d6gYdpyLMErnBAwGFg0pF5lcBBYCMEhR3dAoJqVWWZUMRB4Uk5KEAUAlRMqGOCFhjsGjbFnnWgliLukXX5b8jUUTEkSWBNMc3tffVIEA4xyFAgCdRiTlWxfFl6MH0xkITthfF1fayxxTaeDo5oUbW44qaBpCJ0tBrmvprc5GgKnfqWLb7O9xQQIscUamMJpxC4pBYxezxi6w8ESKU3O1y5eyts/Gqrg4cnKx3jmj+gebevsaQXN8HDJyy3J9OCc+AKycCVQWLZfAwqQK5hPXR17v5oMWMhQEYKLFwmaQTDgl5OKHP8cQjlGQCHIKftOqlzJsqVLPwJiNokZ86UkjDg5emxyIJHNnDhtCh1KtGjFkt9WAgxZoGNMny0RFMC4DyJNASZtips6VZkEp1P9qZQ3VZFROGLPfiiZ1mDKHBApwisZFtWkmNSUIlXITifWtv+kTl0IcUBSlgYEk2tqa9PhZ2/Fyd3UcfIQAwXy+jHQ8R0+zHVHdQZ8A7RmIZwFeN7TWMpS1plJsxmNwnAYqc4Sx8Zhb/WPyqMynwL9eMrpQwlfTOxQco1gx7IvOPLNmEJmSbbrZf3c0VmRNUVeJZe0Gx9H35x9h6+HXjj35dgJfYXK8RTd6B7K1vZO/3qFi2MV0cccemkkhJ8w01lA4ARNHegHUgpCBYBUDgbkHzwRAAAh+QQJCgAAACwAAAAAQgBCAAAE/xDISau9VAjMu/8VIRTWcVjFYYBsSxFmeVYm4d6gYa5U/O64oGQwsAwOpN5skipWiEKPQXBAVJq0pYTqnCB8UU5KwJPAVEqK7mCbrLvhyxRZobYlYMD5CYxzvmwUR0lbGxNHcGtWfnoDZYd0EyKLGAgClABHhi8DmCxjj3o1YYB3Em84UxqmACmEQYghJmipVGRqCKE3BgWPa7RBqreMGGfAQnPDxGomymGqnsuAuh4FI7oG0csAuRYGBgTUrQca2ts5BAQIrC8aBwPs5xzg6eEf1lzi8qf06foVvMrtm7fO3g11/+R9SziwoZ54DoPx0CBgQAGIEefRWyehwACKGv/gZeywcV3BFwg+hhzJIV3Bbx0IXGSJARxDmjhz6tzJs4NKkBV7SkJAtOi6nyDh8FRnlChGoVCjSp0aRqY5ljZjplSpNKdRfxQ8Jp3ZE1xTjpkqFuhGteQicFQ1xmWEEGfWXWKfymPK9kO2jxZvLstW1GBLwI54EiaqzxoRvSPVrYWYsq8byFWxqcOs5vFApoKlEEm8L9va0DVHo06F4HQUA6pxrQZoGIBpyy1gEwlVuepagK1xg/BIWpLn1wV6ASfrgpcuj5hkPpVOIbi32lV3V+8U9pVVNck5ByPiyeMjiy+Sh3C9L6VyN9qZJEruq7X45seNe0Jfnfkp+u1F4xEjKx6tF006NPFS3BCv2AZgTwTwF1ZX4QnFSzQSSvLeXOrtEwEAIfkECQoAAAAsAAAAAEIAQgAABP8QyEmrvVQIzLv/FSEU1nFYhWCAbEsRx1aZ5UG4OGgI9ny+plVuCBiQKoORr1I4DCyDJ7GzEyCYziVlcDhOELRpJ6WiGGJCSVhy7k3aXvGlGgfwbpM1ACabNMtyHGCAEk1xSRRNUmwmV4F7BXhbAot7ApIXCJdbMRYGA44uZGkSIptTMG5vJpUsVQOYAIZiihVtpzhVhAAGCKQ5vaQiQVOfGr+PZiYHyLlJu8mMaI/GodESg7EfKQXIBtrXvp61F2Sg10RgrBwEz7DoLcONH5oa3fBUXKzNc2TW+Fic8OtAQBzAfv8OKgwBbmEOBHiSRIHo0AWBFMuwPdNgpGFFAJr/li3D1KuAu48YRBIgMHAPRZSeDLSESbOmzZs4oVDaKTFnqZVAgUbhSamVzYJIIb70ybSp06eBkOb81rJklCg5k7IkheBq0UhTgSpdKeFqAYNOZa58+Q0qBpluAwWDSRWYyXcoe0Gc+abrRL7XviGAyNLDxSj3bArey+EuWJ+LG3ZF+8YjNW9Ac5m0LEYv4A8GTCaGp5fykNBGPhNZrHpcajOFi8VmM9i0K9G/EJwVI9VM7dYaR7Pp2Fn3L8GcLxREZtJaaMvLXwz2NFvOReG6Mel+sbvvUtKbmQgvECf0v4K2k+kWHnp8eeO+v0f79PhLdz91sts6C5yFfJD3FVIHHnoWkPVRe7+Qt196eSkongXw4fQcCnW41F9F0+ETAQAh+QQJCgAAACwAAAAAQgBCAAAE/xDISau9dAjMu/8VISCWcFiFYIBsS4lbJcSUSbg4aMxrfb68nFBSKFg0xhpNgjgMUM9hZye4URCC6MRUGRxI18NSesEOehIqGjCjUK1pU5KMMSBlVd9LXCmI13QWMGspcwADWgApiTtfgRIEBYCHAoYEA2AYWHCHThZ2nCyLgG9kIgehp4ksdlmAKZlCfoYAjSpCrWduCJMuBrxAf1K5vY9xwmTExp8mt4GtoctNzi0FmJMG0csAwBUGs5pZmNtDWAeeGJdZBdrk6SZisZoaA5LuU17n9jpm7feK53Th+FXs3zd//xJOyKbQGAIriOp1a9giErwYCCJGZEexQ8ZzIP8PGPplDRGtjj7OVUJI4CHKeQhfypxJs6bNDyU11rs5IaTPnBpP0oTncwzPo0iTKjXWMmbDjPK8IShikmfIlVeslSwwseZHn1G0sitY0yLINGSVEnC6lFVXigbi5iDJ8WW2tWkXTpWYd9tdvGkjFXlrdy1eDlOLsG34t9hUwgwTyvV2d6Big4efDe6LqylnDt+KfO6cGddmNwRGf5qcxrNp0SHqDmnqzbBqblxJwR7WklTvuYQf7yJL8IXL2rfT5c7KCUEs2gt/G5waauoa57vk/Ur9L1LXb12x6/0OnVxoQC3lcQ1xXC93d2stOK8ur3x0u9YriB+ffBl4+Sc5158LMdvJF1Vpbe1HTgQAIfkECQoAAAAsAAAAAEIAQgAABP8QyEmrvXQMzLv/lTEUliBYxWCAbEsRwlaZpUC4OCgKK0W/pl5uWCBVCgLE7ERBxFDGYUc0UDYFUclvMkhWnExpB6ERAgwx8/Zsuk3Qh6z4srNybb4wAKYHIHlzHjAqFEh2ABqFWBRoXoESBAVmEkhZBANuGJeHXTKMmDkphC8amUN8pmxPOAaik4ZzSJ4ScIA5VKO0BJOsCGaNtkOtZY9TAgfBUri8xarJYsOpzQAIyMxjVbwG0tN72gVxGGSl3VJOB+GaogXc5ZoD6I7YGpLuU/DI9Trj7fbUyLlaGPDlD0OrfgUTnkGosAUCNymKEGzYIhI+JghE0dNH8QKZY+j/8jEikJFeRwwgD4xAOJChwowuT8qcSbOmzQ5FRugscnNCypD5IkYc0VML0JB9iipdyrQptIc9yRyysC1jETkzU2IxZfVqgYk2yRxNdxUB2KWRUtK65nSX02Lb2NoTETOE1brNwFljse2q25MiQnLUZPWsTBghp76QiLegXpXi2GlrnANqCHCz9g3uVu0AZYMZDU8zEFKuZtHdSKP7/Cb0r7/KDPwCaRr010kkWb8hkEq15xyRDA/czIr3JNWZdcCeYNbUQLlxX/CmCgquWTO5XxzKvnt5ueGprjc5tC0Vb+/TSJ4deNbsyPXG54rXHn4qyeMPa5+Sxp351JZU6SbMGXz+2YWeTOxZ4F4F9/UE4BeKRffWHgJ6EAEAIfkECQoAAAAsAAAAAEIAQgAABP8QyEmrvXQMzLv/lTEglmYhgwGuLEWYlbBVg0C0OCim9DwZMlVuCECQKoVRzCdBCAqWApTY2d0oqOkENkkeJ04m9fIqCCW7M0BGEQnUbu34YvD2rhIugMDGBucdLzxgSltMWW0CAl9zBAhqEnYTBAV4ZAOWBU8WdZYrWZBWY3w2IYpyK3VSkCiMOU6uboM4dQNmbQSQtI+Jf0Sqt4Acsp45tcHCpr5zqsXJfLOfBbwhzsl7unWbFwhSlddUTqcclN664IE1iq5k3tTow5qn53Td3/AcCAdP9FXv+JwQWANIEFfBZAIjSRHY7yAGSuoESHDkbWFDhy8U7dsnxwBFbw7/O2iUgYxOrpDk7qFcybKly5cIK7qDSUHjgY37uumcNo3mBAE3gQaV6LOo0aNI4XkcGFJnFUc62bEUesCWJYpR/7nMeDPoFCNGTiatBZSogYtHCTBN2sIjWnAi1po08vaavqpy0UBlyFJE15L1wNaF9yKo1ImCjTq5KWYS3xCDh2gFUOcAqg8G6AK8G3lY2M4sgOzL+/QxQANBSQf+dxZ0m5KiD7jObBqx6gsDqlbgMzqHI7E/avu+6Yp3Y8zAHVty20ETo7IWXtz2l1zt1Uz72ty8fM2jVrVq1GK5ieSmaxC/4TgKv/zmcqDHAXmHZH23J6CoOONLPpG/eAoFZIdEHHz4LEWfJwSY55N30RVD3IL87VFMDdOh9B88EQAAIfkECQoAAAAsAAAAAEIAQgAABP8QyEmrvbQUzLv/lVEg1jBYyGCAbEsRw1aZ5UC4OCiq80kZplVuCECQKprjhEZJyZpPIkZUuL1iPeRAKSEIfFIOQiOUAAtlANMc/Jm4YQsVXuAtwQAYvtiOcwhkTVsZUU5uAlZ+BghpEkkvaB2AiQB1UWZVOWORP3WNOAZflABAApc6m41jcDiGh3agqT8Eny4GtK+1LHO6fmxfvbsanL4hJrBhi5nFFV7IIJOfBsF+uCEIphiAI6PMLikC2VObjN62A+E2H9sj1OYi6cQetxrd5hXYpu5y1vfj9v4CXpgmkBkBK6sQ9CvYYke6LqtGGNknEEa4i+LMHBwxgqEHdOn/ynG4RTHgJI8oU6pcyXKlkZcwW5Y4gPGiEY4JZc6gyVPAgT06gwodStQjSaFjAGokEDOoz3iUmMJUWNKfxZ7iXh6sarTOUzNcZS4sqmgsQxFKRzI1WxDBgZ8Ub0llK7DUW3kD54YtBuOtAFYT9BLFdlfbVjl7W4jslHEX08Qf3AqAPItqwFA00+o4SLcYZkRSblmeMI2yiDSf98ode1hKgZ8hnmq+wLmRXMoE3o7CDPTD0WYHmxwAPAEblwE05ajzdZsCcjzJJ7zGY+AtceaPK+im8Fb4ASQ0KXdoHvhtmu6kt5P22VvR6CXRJ6Cf4POS2wPip3yqr/17hvjSnVKXGnry+VcefkjNV6AF1gmV2ykKOgIaWRT4FFAEACH5BAkKAAAALAAAAABCAEIAAAT/EMhJq720FMy7/5VREJZmIYUBriwlbpUZD2prf289FUM4pLeghIA4jWKwCWFQrCCaQo4BpRsWoBLZBDEgUZa9aIdwreYoPxfPzMOKLdNjBrhLAgxpCpf+xpy3cll2S1giXX0SU1UST4UIXhhkVXtwgSxECIt/Qng0IW03cZkVZJBBXG6dnqGNZgaLNgYEbD+wLKK2iIkDvLm3rbqVtYhxvm9gxhdEs3DJx7BTTJHAwUJgeRdT1NUrZLyHHpiPztWGvKMgsk/kwVzDsczcHVOm8vY47PfdXo0E8fo2iBQQwGuIuCf/AHLwRpAgtjvqGin0wItgmXkJJ1oopbGjx48g/0MCPNhPZIUBAlKqJLjskct6IlE2VBnGpM2bOHN6lJXPHgqYLmQtA+pRJsFHX1r6ywgSzEoBMJbO6jmRiMwwr3SGo6p1Xtadlla88sdVDIKUq/BJLRsFj0o+ftaaXKLSTVKyOc+mtONiaiWA6NRAjXXggF1detmSKnxAsQcDAg4IcHyHMeXHKhUTsKzGsQgzKok+5ozmQM0gA0/fyXxjQOFFmw2LiV0P8gG+ILjAKnz67OEtArDIrCTaBoLCplyfTpnBtIvIv4kV5oucQuEvkmNIvoyhwGvsja0fcFF9AuTB8gwUduNd9fXSfI9PtvdQQmTq45urBqBlovoD9bxn3hd3NsVmgYATRFZcVeiJV4IAC5rEnD0RAAAh+QQJCgAAACwAAAAAQgBCAAAE/xDISau9FCHMu/+VgRBWUVhEYYBsS4lbhZyy6t6gaFNFPBmmFW4IIJAqhFEN2bNoiB6YcJL0SUy1IxUL7VSnAGmGJgHuyiZt9wJTA2bg5k++Pa/ZGnBS/dxazW5QBgRgEnsvCIUhShMzVmWMLnuFYoJBISaPOV9IkUOOmJc4gyNgBqddg6YFA3Y3pIl3HWauo5OybCa1Q6SKuCm7s4mKqLgXhBY6moa3xkQpAwPLZVXIzi1A0QWByXvW1xwi2rGbSb7gVNHkLqfn6GHf7/Lh7vM31kZGxfbYM9ED1EaM0MfPi4l/rf6cGsit4JV/PeqpcojhEMWLGDNq3Agln0cjHP8nIBz50WPIhwIGpFRJ5qTLlzBjrkEgLaSGhoYKCDjA80DIaCl7qBnQs+cAnAWhpVwZo6eAbTJ1qARYBCnMeDI7DqgHDohVNkQPtOSHICjXH2EPbL0IRIDbdRjK8hTw9V3blNMApM1LkYDKpxiI1hIxDy6kVq948u1CIOVZEI0PCHjM6y/lcHMvV3bccSfdF8FYiDBlmVfmCoK76Bzrl/MNop8pEOBZl0Pj2GgB31tbYSdVCWX5lh2aEgVUWQh4gkk9wS2P4j/eyjOwc+xONTszOH8++V0ByXrAU+D5Yidp3dcMKK7w/beE7BRYynCruQWX+GIrSGYPncfYedQd4AYZeS+Ix9FsAliwX2+4adTYfwQ+VxtG/V0TAQAh+QQJCgAAACwAAAAAQgBCAAAE/xDISau9FCHMu/+VgRCWZhGIAa4sJW6VGRdqa39vPSFFWKS3oIRAqqCKO9gEpdwhhRgDSjccxZoAzRNAKPSgHRGBmqP8XDwybwsOHa9UmcRwpnSBbU55aU3aC090gHlzYyd9c3hRillyEyJUK0SGLlNggpGCWCBSI5GWUF1bmpErUkRkBqUtUmpeq6ZHsIQAgjRtp5S0Ll6MUJ2zuD/BF6ilqrvFxzybhZ7JQl29epO60DheXmwWudbX3Dy9xI+T48kEA8M3qua7rd/wks3x0TUH9wKD9DYiXukSBe4JPCBg3j4+BdINSNekiwCBAg52SJgOUDAEAwxKBCWxo8ePIP9DwhtIUmQFigtTFnhIkqBJMyljfnlJs6bNm/Qwajz4hoNDiDRlMgpIMiPNLjEXwoCoD2e/lEO24VzSbuqHLlUJiVk34N5MiRjztaMjcEDWPHRS+irBUoBUnisXvu1KcOfGhQUxdL0Vwi6YtSL+tSDw0G8QwmYJESZ4loWBAQISg1ksoDEryJIPP6zMy/IjRo8jW6YcaS+YlV9rYW7clbMdgm9BEHYbAnJq2QPYPBxgJy8HjE/icmvaBgFjCrYpCIg4Qfij5bFxPUz98Mny3sx3iIYX0PWQ4xMeulhOJvk1A9VPRq7gEnk+I+S/ebFgWnl2CQjWz/CI/kCk9kvE9xIUAQCGd4AF0NGE3m3XnZSZVfpdEwEAIfkECQoAAAAsAAAAAEIAQgAABP8QyEmrvZQQzLv/laFZCGIRiAGuLCVuFXqmbQ2KNFWGpWr/ANGJ4JvIMghYRgnEvIoSQ7KyQzKD1Sbn6dJAj9Geq3TVhryxnCSLNSHV5gt3Iv0yUUwpXIsYlDV5RB0iX2xRgjUDBwJXc0B6UFgFZR8GB5eRL1p4PAV7K5aXeQaRNaRQep8soQelcWOeri2ssnGptbMCB26vIbGJBwOlYL0hpSKTGIqXBcVNKAXJGAiXi5TOWwjRqhUF1QK42EEE24gfBMu84hfkk+EX2u/OhOv1K8T2Zojf0vmz0NEkFNBVLZg6f3K0RVt4Z+A3hB0WejLHbsBBiF3kYdzIsaPHjyz/CBZcBJKCxJMiCwooOSHagAIvXzZjSbOmzZvitF3kyIkDuWUkS8JkCGVASgF+WEKL+dINwZcaMeoZegjnlqhWO5DDamuKqXQ8B1jUaMDhgQJczUgRO9YDgqfXEJYV28+Ct0U7O/60iMHbJyn5KIbhm0tA3jjohL0yoAtcPQN008YQQFnyKraWgzRGxQ0UnLmKbRCg7JiC0ZlA+qCOgtmG0dJGKMcFgQ52FKo10JWiPCADYQzomMDs7SszlcomBawWm3w15KSPKa8GIJsCZRdIj4cWN9D2aNvX6RhFJfawFsaMtFcI39Lw5O3OAlYwepD9GuUkzGNDf8W+ZvgefWeBEn8AGDUbQuhcRGAfxtnD3DoRAAAh+QQJCgAAACwAAAAAQgBCAAAE/xDISau9lBDMu/8VcRSWZhmEAa4shRxHuVVI2t6gAc+TSaE2nBAwGFgEoxBPApQNPbokpXAQKEMI1a/29FAPWokInFkCwwDgsnuCkSgwREY+QdF7NTTb8joskUY9SxpmBFl7EggDawCAGQd3FyhohoyTOANVen2MLXZ6BghcNwZIZBSZgUOGoJV6KwSmaAYFr54Gs6KHQ6VVnYhMrmxRAraIoaLGpEiRwEx5N5m1J83OTK92v1+Q1ry6vwAIpgLg3dS6yhPbA+nmdqJBHwaZ3OYchtA3BNP2GJf9AD0YCggMlwRTAwqUIygJXwE6BUzBEDCgGsMtoh4+NFOAXpWLHP8y1oh3YZ9FkGlIolzJsqXLlzgkwpgIcwKCAjhzPhSApCcMVTBvCtV4sqbRo0iTshFak1WHfQN6WgmaM5+EiFWqUFxIMJROnDN4UuSX1E5OMVyPGlSKaF+7bqHenogqoKi9fQ/lponIk+zFUAkVthPHc9FLwGA58K17FO9DDBH9PguoMuXjFgSi2u2SWTKvwnpx0MIZ2h/ogLQSlq5QauuW1axJpvac4/QUAW+GKGo2G3ZEwxl4ws5QZE3qzSU9R80NIHO5fUsUMX82/II4drcjFXGR8EdxgPMYoyKHCmhmoM1V9/s9iyIait6x1+mIXEjrNeKmw59SMUSR6l5UE1EjM9txN1049RUUlR771fFfUw1OEJUF38E0TzURJkLbUR31EwEAOwAAAAAAAAAAAA==" /></div>
4. <script>
5. var utm_set = null;
6. function setup_utm(){ if (utm_set == null) return null; var i=0; var p = document.createElement("a"); p.href = document.referrer; for (i=0; i<utm_set.length; i++) { if (p.hostname == utm_set[i]["host"] || p.hostname.indexOf(utm_set[i]["host"] + '.') == 0 || p.hostname.indexOf('www.' + utm_set[i]["host"] + '.') == 0) { return utm_set[i]["args"]; } } return null;}
7. function fixedEncodeURIComponent(str) {return encodeURIComponent(str).replace(/[!'()*]/g, function (c) { return "%" + c.charCodeAt(0).toString(16); });}
8. function get_jhash(b) {var x = 123456789;var i = 0; var k = 0;for (i = 0; i < 1677696; i++) {x = ((x + b) ^ (x + (x % 3) + (x % 17) + b) ^ i) % 16776960;if (x % 117 == 0) { k = (k + 1) % 1111; }}return k;}
9. function get_param(store, type, id){ var o = document.cookie.split(';');var p = undefined;for (var i=0; i<o.length; i++){if (o[i].indexOf(store) != -1){var a=o[i].split('=');if (a.length > 1){var q = a[1].split(',');if (q.length > id){p = q[id];}}}} if (p == undefined){if (type == "int"){return 0;}if (type == "str"){return "";}}if (type == "int"){return parseInt(p);}return p+"";}
10. function get_utm_medium(){var mediums = { "organic": ["yandex", "google", "bing", "search.yahoo", "yahoo"], "referral": null };var m, a, v, f = 0;var p = document.createElement("a"); p.href = document.referrer;for (m in mediums) {a = mediums[m];if (a == null) { break; }f = 0;for (var i = 0; i < a.length; i++) {v = a[i];if (p.hostname.indexOf(v + '.') == 0 || p.hostname.indexOf('www.' + v + '.') == 0){ f = 1; break; }}if (f === 1) { break; }}return m;}function mini_hostname(hostname, medium){if (hostname == undefined || hostname == ""){return hostname;}hostname = hostname.replace("www.", "");if (medium == "organic"){if (get_param("__js_p_", "int", 3) == 1){hostname = hostname.split(".")[0];}}return hostname;}
11. function construct_utm_uri(disable_utm) {var p = document.createElement("a");p.href = document.referrer;if (p.href == "") { return window.location.href; }
12. var ref = p.hostname.replace("www.", "");
13. var loc = window.location.hostname.replace("www.", "");
14. if (loc == ref)
15. { return window.location.href; }
16. if (disable_utm == 1)
17. { return window.location.href; }
18. if (window.location.href.indexOf("utm_") != -1 || window.location.href.indexOf("gclid=") != -1 || window.location.href.indexOf("yclid=") != -1)
19. { return window.location.href; }
20. var uri = window.location.href;
21. if (uri.indexOf("?") != -1) {
22. uri += "&";
23. } else {
24. uri += "?";
25. }
26. var medium = get_utm_medium();
27. var hostname = mini_hostname(p.hostname, medium);
28. var args = setup_utm();
29. if (args != null){
30. uri += args;
31. } else {
32. uri += "utm_source=" + hostname + "&utm_medium=" + medium + "&utm_campaign=" + hostname + "&utm_referrer=" + hostname;
33. }
34.  
35. return uri;
36. }
37. setTimeout(function () {
38. var code = get_param("__js_p_", "int", 0);
39. var age = get_param("__js_p_", "int", 1);
40. var sec = get_param("__js_p_", "int", 2);
41. var disable_utm = get_param("__js_p_", "int", 4);
42. var jhash = get_jhash(code);
43. document.cookie = "__jhash_=" + jhash + ";max-age=" + age + "; " + (sec ? "SameSite=None;Secure;" : "") + " Path=/";
44. document.cookie = "__jua_=" + fixedEncodeURIComponent(navigator.userAgent) + ";max-age=" + age + "; " + (sec ? "SameSite=None;Secure;" : "") + " Path=/";
45. window.location.href = construct_utm_uri(disable_utm);
46. if (window.location.hash){
47. window.location.reload();
48. }
49. }, 1 * 1000);
50. </script></div></html>

 

[partshez]

14.03.2023 в 17:04, cooperoff2 сказал:

Доброго времени суток. Сайт донор изменил свой сайт. Теперь при первом посещении открывается гифка "круг загрузки", потом прогружается весь сайт. При попытке спарсить страницы, парсер не может прогрузить всю страницу. Куки все прописал. Не знаю, как исправить. Подтолкните, пожалуйста, в сторону решения.

Можно предложить, наверное, два варианта. Получить выгрузку товаров в формате xml/yml и парсить или забыть про этого донора. 

Третий вариант. На доноре есть прайс лист, из которого можно получить определенную информацию, можно создать товар специальными программами для обработки прайсов. А недостающую информацию взять с других сайтов по идентификатору Код в прайсе. Например, на этих сайтах есть такой же товар   https://vixion.ru/catalog/blok_pitaniya_dlya_noutbuka_lenovo_20v_6_75a_ploskiy_razem_vixion.html     https://service-gsm.ru/catalog/aksessuary_dlya_mobilnykh_ustroystv/zaryadnye_ustroystva_2/bloki_pitaniya_dlya_noutbukov/vixion_2/blok_pitaniya_dlya_noutbuka_lenovo_20v_6_75a_ploskiy_razem_vixion.html?utm_source=google.com&utm_medium=organic&utm_campaign=google.com&utm_referrer=google.com   

 

Змінено 14 березня 2023 користувачем partshez