[Поддержка] SimplePars - Универсальный парсер для ИМ

[partshez]

Как вариант, наложить сверху логотип своего сайта. Если не получится найти без водяного знака. 

Если не много товара, через Батч Эдитор найти фото в интернете. Посадить студента или мамочку в декрете - все сделают

 

 

[Validos]

Фотографий 9к+. Но 30% одинаковых. В ручную искать также не вариант, т.к. много разных поставщиков

[Rassol2]

5 минут назад, Validos сказал:

Фотографий 9к+. Но 30% одинаковых. В ручную искать также не вариант, т.к. много разных поставщиков

можно было попробовать в момент парсинга с самого донора отредактировать ссылки на фото что бы получить путь к оригиналам и спасть уже их.

Вот к примеру на многих сайтах водный знак лепится в момент рендеринга фото.
https://svetavto.com.ua/image/cache/data/LED-osnovnoy-svet/8/ck-com-ua-upload-iblock-cea-type_12_h3_thumb_800-800x800-w-30-0-0.jpg

 

Но если в поиск замене задать правила.
/cache|
-800x800-w-30-0-0|

вы получите ссылку на оригинальное фото
https://svetavto.com.ua/image/data/LED-osnovnoy-svet/8/ck-com-ua-upload-iblock-cea-type_12_h3_thumb_800.jpg

И модуль спарсит именно их.
Но если такого нет у донора или вы не можете найти путь к оригиналам, тогда вам нужно как то по иному решать этот вопрос.
А тут уже кто на что горазд.

[partshez]

В 08.07.2020 в 01:56, Rassol2 сказал:

Обновление 3.6_beta
Жду ваши комментарии, лайки, подписки, предложения   !!!
 

Только что парсил описание с фото. Шикарно! Спасибо!

[ilyer]

Заметил что при добавлении товара с использованием кэша и проверки границ модуль может переносить товары в категории даже те, что не попадают в фильтр

[Rassol2]

45 минут назад, ilyer сказал:

Заметил что при добавлении товара с использованием кэша и проверки границ модуль может переносить товары в категории даже те, что не попадают в фильтр

вы подробно опишите что вы имеете в виду, а то пока что не совсем ясно что вы хотели сказать.

[Validos]

9 часов назад, Rassol2 сказал:

можно было попробовать в момент парсинга с самого донора отредактировать ссылки на фото что бы получить путь к оригиналам и спасть уже их.

Вот к примеру на многих сайтах водный знак лепится в момент рендеринга фото.
https://svetavto.com.ua/image/cache/data/LED-osnovnoy-svet/8/ck-com-ua-upload-iblock-cea-type_12_h3_thumb_800-800x800-w-30-0-0.jpg

 

Но если в поиск замене задать правила.
/cache|
-800x800-w-30-0-0|

вы получите ссылку на оригинальное фото
https://svetavto.com.ua/image/data/LED-osnovnoy-svet/8/ck-com-ua-upload-iblock-cea-type_12_h3_thumb_800.jpg

И модуль спарсит именно их.
Но если такого нет у донора или вы не можете найти путь к оригиналам, тогда вам нужно как то по иному решать этот вопрос.
А тут уже кто на что горазд.

Т. к. я новичек то пришлось парсинг делать за деньги. Если Вам не тяжело посмотрите пожалуйста есть ли оригиналы фото на этом сайте https://pholod.com.ua/. 

Подскажите можно ли купив шаблон нанять человека для полной его настройки, включая необходимые модули и всего остального. Примерно сколько это может стоить. Заранее спасибо. 

[Rassol2]

3 часа назад, Validos сказал:

Если Вам не тяжело посмотрите пожалуйста есть ли оригиналы фото на этом сайте https://pholod.com.ua/.

Я не нашел путь к оригиналам.
 

3 часа назад, Validos сказал:

Подскажите можно ли купив шаблон нанять человека для полной его настройки, включая необходимые модули и всего остального. Примерно сколько это может стоить. Заранее спасибо. 

Да можно, но это уже не тема моего модуля.
Все зависит от того что нужно делать и кто будет делать, на этот вопрос у меня нет точного ответе.
Эти вопросы луче задавать в разделе платных услуг на этом форуме.

[Validos]

Спасибо. Просто Ваш модуль также будет немного позже куплен и добавлен 

[ilyer]

@Rassol2 при добавлении товара с проверкой условия по части названия (например хочу добавить только товары с названием трековые светильники) при включенном кэше модуль переносит уже добавленные товары в другие категории (эти товары не соответствуют указанному условию). 

Ну или может есть другое решение? я спарсил производителя и мне нужно разложить товар по категориям. Я включаю условие по части названия, выбираю нужную категорию и таким образом меняя часть названия в условии прогоняю несколько раз

[Rassol2]

1 минуту назад, ilyer сказал:

@Rassol2 при добавлении товара с проверкой условия по части названия (например хочу добавить только товары с названием трековые светильники) при включенном кэше модуль переносит уже добавленные товары в другие категории (эти товары не соответствуют указанному условию). 

я не совсем понимаю, вы переносите как через вкладку Редактор товаров ?
Просто допуск к обработке относится только к парсингу в им.

Если при парсинге, тогда открываете товар которые не должен был перенестись, смотрите его данные затем смотрите в логах что произошло. Что модуль сообщает по поводу работы с этим товаром.
Возможно товар проходит по условиями.

[ilyer]

10 минут назад, Rassol2 сказал:

вы переносите как через вкладку Редактор товаров ?

добавляю товар, но в том и дело, что он  еще и переносит то что уже добавлено до этого в этом проекте но с другими условиями. Два раза было так, уже боязно пробовать. Постараюсь собрать неопровержимые доказательства))

[Rassol2]

Только что, ilyer сказал:

добавляю товар, но в том и дело, что он  еще и переносит то что уже добавлено до этого в этом проекте но с другими условиями. Два раза было так, уже боязно пробовать. Постараюсь собрать неопровержимые доказательства))

читайте логи тут 100% вы что то не так делаете и именно логи сообшат вам что вы делаете не так.
Может у вас включена галочка Добавлять и обновлять.

на ваш вопрос могут ответить логи модуля.
 

[ilyer]

2 минуты назад, Rassol2 сказал:

Может у вас включена галочка Добавлять и обновлять.

Все понял. Дошло, не заметил что есть еще в двух местах настройки добавления или обновления

Прошу прощения

[Rassol2]

Только что, ilyer сказал:

Все понял. Дошло, не заметил что есть еще в двух местах настройки добавления или обновления

Прошу прощения

Логи наше все.
 

[stas2010]

В продолжение темы фото в описании - довольно часто в описании попадаются и документы pdf, doc и т.п - описания, инструкции, каталоги, листалки. их бы тоже не плохо бы сразу себе на сайт закидывать с описанием.

вот примеры:

http://www.popuri.by/site/books/17187/22410/39971/51013

https://www.chitai-gorod.ru/catalog/book/1253785/

http://www.tools.by/?q=kat/p940448

 

 

[Rassol2]

1 минуту назад, stas2010 сказал:

В продолжение темы фото в описании - довольно часто в описании попадаются и документы pdf, doc и т.п - описания, инструкции, каталоги, листалки. их бы тоже не плохо бы сразу себе на сайт закидывать с описанием.

вот примеры:

http://www.popuri.by/site/books/17187/22410/39971/51013

https://www.chitai-gorod.ru/catalog/book/1253785/

http://www.tools.by/?q=kat/p940448

 

 

Да, я про это помню.
Пока думаю как это все сделать.

[Rassol2]

Обновление 3.6-1_beta

Парсинг фото описаний.
Улучшен алгоритм определения фото и загрузки. Спасибо за найденные недочеты @RuslanLight

Формирование URL
Добавлены символы польского и немецкого языка в транслитерацию названий в url товаров, тоже благодаря @RuslanLight

Теперь полный набор символов для транслита выглядит так.

Спойлер

Парсинг в ИМ
Добавлена возможность при обновлении фото товара автоматически удалять старые фото.

 

При выборе этой настройки поведения модуля будет таково.
Модуль определяет товар который нужно обновить. Затем смотрит парсятся ли фото. Если фото парсятся значит модуль берет все фото что были в товаре удаляет полностью с вашего хостинга, затем загружает новые.
Восстановить фото если вы случайно выбрали эту настройку не получится, фото удаляются полностью, так что будьте внимательны при выборе этого пункта.

Так же если будет выбрано обновление с удалением, и к примеру в указанные границы париснга не попадет ни одно фото, то модуль это увидит и удалять старые не будет что бы у вас не получилось что товар есть а фото нет. Своего рода пассивная защита.

[RuslanLight]

@Rassol2 Это слишком громко сказано что благодря мне. )
Это благодярая вашей открытости и трудолюбию все это происходит!
Огромнейшее спасибо за модуль который становится все идеальней и идеальней и не только благодаря моим хотелкам и занудству.
Надеюсь и все будущие и настоящие пользователи тоже оценят это высоко! 

[Rassol2]

3 часа назад, RuslanLight сказал:

Надеюсь и все будущие и настоящие пользователи тоже оценят это высоко! 

То же надеюсь.

[radosti]

Здравствуйте, были проблемы с парсингом из-за сервера. Сейчас перенесли на новый, на большинстве сайтов модуль работает исправно. Но на одном не сканирует ссылки, а в предпросмотре (если вручную ссылку на товар вставить) выдает такое:
 

Спойлер

1. <html>
2. <head><title>403 Forbidden</title></head>
3. <body>
4. <center><h1>403 Forbidden</h1></center>
5. <hr><center>nginx</center>
6. </body>
7. </html>

Подскажите, что делать

[Rassol2]

13 минут назад, radosti сказал:

Здравствуйте, были проблемы с парсингом из-за сервера. Сейчас перенесли на новый, на большинстве сайтов модуль работает исправно. Но на одном не сканирует ссылки, а в предпросмотре (если вручную ссылку на товар вставить) выдает такое:

сай донор отказывает в досутпе к вам.
Скорее всего это связано с отсутствие в запросе заголовков юсер агентов.
Добавьте по минимуму и донор определит вас как обычного юсера и будет отдавать вам запросы.

[Rassol2]

@radosti Тут прочтете что и куда вписывать.

https://simplepars.top/index.php?page=notes&tag_id=21

[radosti]

29 минут назад, Rassol2 сказал:

@radosti Тут прочтете что и куда вписывать.

https://simplepars.top/index.php?page=notes&tag_id=21

Спасибо, получилось!

 

[ilyer]

Подскажите есть ли возможность добавить выполнение js кода при переходе на ссылку?

В случае когда странице товара карточка товара подгружается динамически по клику на кнопку.

Можно ведь прописать  селектор кнопки и назначить ему click() при открытии страницы, и после этого парсить выведенный код. 

В хроме так делал с помощью tampermonkey. Не знаю как браузер в модуле настраивается. Такой подход бы мог много задач решить

Змінено 15 липня 2020 користувачем ilyer