[Поддержка] SimplePars - Универсальный парсер для ИМ

[yurok79]

38 минут назад, Rassol2 сказал:

Запустите парсинг, и покажите скриншот свежих логов.

Наверное бан поймал. Границы все настроены верно. Товары добавлялись и в предпросмотре все было хорошо.

Сейчас на странице настроек https://prnt.sc/12xonn0 В предпросмотре тоже ничего не грузит.

 

Все ссылки точно рабочие.

 

В логах не может SKU загрузить, ну причина ясна, страница не загружается поэтому и артикула нет на странице.

 

Некоторые страницы грузятся по ссылкам из кеша. Допуск по бренду отрабатывает нормально. https://prnt.sc/12xoqi9

 

Бан наверное (

[WEB_COAST]

В 04.05.2021 в 16:32, yurok79 сказал:

Подскажите по прокси, кто где берет. Какую страну лучше? ipv4 или 6? Примерное количество.

Я бесплатные использовал, получилось. Выбирал с портом 8080 HTTPS, выбрал 25 штук, проверил их, но в списке проверенных ничего не отобразилось, а уже в логах я увидел, какие прокси успешно прошли проверку, и что они были добавлены в список проверенных. Кто я такой, чтобы спорить с логами? - подумал я. Выбрал "использовать только проверенный список прокси", запустил парсинг, всё сработало)

 

Ещё User-Agent пару тысяч добавил, и поставил менять при каждом запросе, лишним не будет, а делается за 5 минут.

Змінено 14 травня 2021 користувачем WEB_COAST

[WEB_COAST]

В 02.05.2021 в 06:30, Rassol2 сказал:

вы не правильно понимаете.
Вы не столкнулись с проблемой парсинга webp
Модуль прекрасно все парсит, прекрасно загружает в магазин, и еше более прекрасно записывает фото в товар.
Но проблема в том что опенкарт, перед тем как вывести изображения его кэширует в нужном размере.
И вот тут проблема, опенкарт не умеет нарезать фото в формате webp
Поставьте расширение которое научит опенкарт работать с этим форматом и все будет гуд.

То есть у вас нет проблем с парсингом фото в webp  у вас проблема в том что магазин не понимает этот формат.
И это объясняет тот факт что в пред просмотре все хорошо, модуль взял фото подставил вам без нарезания и все гуд.
А вот движок ....

А есть решение этой проблемы? Если знаете, подскажите пожалуйста.

 

[Rassol2]

8 часов назад, WEB_COAST сказал:

А есть решение этой проблемы? Если знаете, подскажите пожалуйста.

нужно установить модуль который добавить в опенкарт возможность работать с webp
Какой выбрать модуль я не подскажу, так как не работал пока что не с одним.

[kostya242]

Граница парсинга получается при запросе (цена 839), но по факту не обновляется для товара. Все связано с тем что сайт блочит или как?

 

 

Спойлер

 

[Rassol2]

Граница парсинга получается при запросе (цена 839), но по факту не обновляется для товара. Все связано с тем что сайт блочит или как?
 
 
Спойлер
 

Сейчас я не могу посмотреть что у вас в спойлере но на ваш вопрос может дать ответ лог модуля.

В логах модуля видно что обновлено что не обновленной по какой причине.

Отправлено с телефона через Tapatalk

[Rassol2]

Вы не первый день модулям пользуетесь пора бы уже знать что-то что у вас под спойлером не имеет никакого отношения к парсингу.


Это сайт донор запрещает показывать себя внутри других сайтов.
На парсинг это никак не влияет.
В модуле есть переключатель показывает предпросмотр ставите нет и продолжаете настраивать.

Отправлено с телефона через Tapatalk

[codenamexxxxx]

Скажите пожалуйста можно модуль использовать как полный парсинг своего сайта на opencart 1.5.6 на новую версию opencart 2.1. У меня два языка. Модуль может парсить информацию  двух языков?

[Rassol2]

8 минут назад, codenamexxxxx сказал:

Скажите пожалуйста можно модуль использовать как полный парсинг своего сайта на opencart 1.5.6 на новую версию opencart 2.1. У меня два языка. Модуль может парсить информацию  двух языков?

Не думаю что это лучшая идея.
Модуль может это сделать но есть некоторые ограничения которые нужно учитывать.
https://simplepars.top/index.php?page=note&n=39

[WEB_COAST]

13 часов назад, Rassol2 сказал:

нужно установить модуль который добавить в опенкарт возможность работать с webp
Какой выбрать модуль я не подскажу, так как не работал пока что не с одним.

Ставлю модуль поддержки webp, всё равно не работает. Вы же сами говорите, что там проблема в нарезании по размеру. Как это решить? Винить движок можно бесконечно, но Вы же под именно этот движок продаёте модуль, и вопрос корректного парсинга изображений (с дальнейшим их корректным отображением в ИМ) должен стоять весьма остро. Я купил модуль, чтобы спарсить товары с фотографиями, цель не достигнута, какие Ваши рекомендации? Ну вот реально вылилось в целую проблему. Неужели я тут такой один? Всё уже на webp давным давно, но оно не работает на опенкарт, тогда в чём смысл парсинга в ИМ именно для этого движка, если он не умеет читать самый частый формат изображений...

[Rassol2]

2 минуты назад, WEB_COAST сказал:

Ставлю модуль поддержки webp, всё равно не работает. Вы же сами говорите, что там проблема в нарезании по размеру. Как это решить? Винить движок можно бесконечно, но Вы же под именно этот движок продаёте модуль, и вопрос корректного парсинга изображений (с дальнейшим их корректным отображением в ИМ) должен стоять весьма остро. Я купил модуль, чтобы спарсить товары с фотографиями, цель не достигнута, какие Ваши рекомендации? Ну вот реально вылилось в целую проблему. Неужели я тут такой один? Всё уже на webp давным давно, но оно не работает на опенкарт, тогда в чём смысл парсинга в ИМ именно для этого движка, если он не умеет читать самый частый формат изображений...

Не совсем понял ваш так сказать "наезд"
Вы можете зайти и убедится что модуль все спарсил и записал в товар.
Какие могут быть вопросы к модулю который занимается скачиванием и заполнением товаров ?

Я если вы завтра захотите спарсить и загрузить в товар видео, на место фото. Вы тоже пройдете ко мне с претензией что видео на место фото не становится?
Поставьте модуль который будет поддерживать webp

Убедитесь что ваш поставленный модуль работает. И вы можете вручную добавить в товар фото в формате webp и оно работает нормально.
Если да, то конечно же я готов разобраться что не так.

 

5 минут назад, WEB_COAST сказал:

Всё уже на webp давным давно, но оно не работает на опенкарт, тогда в чём смысл парсинга в ИМ именно для этого движка, если он не умеет читать самый частый формат изображений...

Ну не я же должен адаптировать все магазины под этот формат. Мой модуль скачивает webp и загружает его к вам.
Он таже все прописывает в товаре как нужно.
Он даже выводить этот формат в пред просмотре парсинга в им.

Но не модуль SimplePars должен отвечать за то что опенкарт не умеет работать с этим форматом. И не моему модулю расширять эту возможность.
Поймите правильно, вопрос не там задаете.

Если мой модуль не сможет спарсить записать это фото вам в товар, пишите и я с радостью помогу решить вашу боль. Но в данном случаи боль у вас не от модуля, а от опенкарта.

[Dmitry76]

8 минут назад, Rassol2 сказал:

Не совсем понял ваш так сказать "наезд"
Вы можете зайти и убедится что модуль все спарсил и записал в товар.
Какие могут быть вопросы к модулю который занимается скачиванием и заполнением товаров ?

Я если вы завтра захотите спарсить и загрузить в товар видео, на место фото. Вы тоже пройдете ко мне с претензией что видео на место фото не становится?
Поставьте модуль который будет поддерживать webp

Убедитесь что ваш поставленный модуль работает. И вы можете вручную добавить в товар фото в формате webp и оно работает нормально.
Если да, то конечно же я готов разобраться что не так.

 

Ну не я же должен адаптировать все магазины под этот формат. Мой модуль скачивает webp и загружает его к вам.
Он таже все прописывает в товаре как нужно.
Он даже выводить этот формат в пред просмотре парсинга в им.

Но не модуль SimplePars должен отвечать за то что опенкарт не умеет работать с этим форматом. И не моему модулю расширять эту возможность.
Поймите правильно, вопрос не там задаете.

Если мой модуль не сможет спарсить записать это фото вам в товар, пишите и я с радостью помогу решить вашу боль. Но в данном случаи боль у вас не от модуля, а от опенкарта.

 

[sitecreator]

1 час назад, Rassol2 сказал:

Если мой модуль не сможет спарсить записать это фото вам в товар, пишите и я с радостью помогу решить вашу боль. Но в данном случаи боль у вас не от модуля, а от опенкарта.

 

 

Все верно, опенкарт не поддерживает webp в качестве входного формата.  Нигде изначально не поддерживает, вы не сможете увидеть webp через стандартный менеджер изображения и т.д.

 

И проблема с закаченными webp возникает не только с парсером SimplePars , они возникают с любым парсером.  И парсер тут не виноват.

 

Подружить webp как входной формат с опенкарт - это довольно нетривиальная задача, т.к. у многих хостеров даже нет средств для обработки webp.

Но я знаю как решить эту задачу, и это будет работоспособным, как минимум, на 99% хост-площадках.

 

Что касается выходного webp, который отдается в браузер, то тут могу гарантировать, что этот webp благодаря модулю Компрессор работает, как минимум, на 99.9% хост-площадках. Могу судить по статистике на более чем 1200 сайтах.

 

Если вопрос работы с webp как входным форматом важен,  то я могу подготовить для этого решение.  Но данная задача сложнее чем подготовка webp как выходного формата.

 

Нужно понимать насколько востребованным будет такое программное решение для опенкарт. Т.е. будет ли спрос или подобные задачи (переварить webp после парсинга) - это единичные случаи?

 

Если есть хотя бы 10 заказчиков, которым нужно решение по данному вопросу, то сделаю.

Без ложной скромности скажу, что съел двух собак на работе с изображениями, знаю все реальные проблемы которые возникают в реальных магазинах, а работа реальных магазинов это совсем не тоже самое, что работа идеального опенкарт в вакууме.

В реальности вы встретите JPEG, PNG, сделанные не для webp, а для полиграфии (4 канала вместо 3-х), вы встретите JPEG внутри PNG и наоборот.  Все эти странности приводят к искажению цвета, появлению черного фона там, где не ожидали и к прочим непредвиденным неожиданностям.

Вот со всей этой чертовщиной Компрессор умеет справляться и приводить картинки в идеальное состояние.

Вот вас могут ждать такие сюрпризы (после парсинга, но не только):

 

Спойлер

 

 

 

 

 

 

В общем, если нужно решать задачу со входным webp, то могу посодействовать как в плане индивидуальной разработки (дорого или очень дорого), так и в плане создания универсального решения (модуля).

 

Если нужно такое решение, то прошу писать свои пожелания на странице поддержки:

 

Если будет спрос, то появится и реализация.

Пока спроса не было.

[Rassol2]

@WEB_COAST вот вы спрашивали мои рекомендации, вот теперь могу порекомендовать обратится к @sitecreator
Но я к сожалению не в этой теме, моя задача что бы парсер справлялся с парсигом изображений, не важно в каком формате, и над этим я работаю.

Да и вообще все кому нужна работа с webp отпишитесь, если нет решения которое удовлетворяет ваши потребности, возможно договоритесь и сделаете новое решение, или адаптируете существующее под новые потребности.
 

[sitecreator]

1 час назад, WEB_COAST сказал:

Ставлю модуль поддержки webp, всё равно не работает.

 

А разве должно?

См. мой пост выше.

 

Предполагаю, что вы ставите поддержку webp как выходного формата для отправки в браузер.

Это никак не решит проблему.

Да и нет ни одного бесплатного решения по работе с webp, которые работали бы нормально, а не через пень-колоду.  Все они работают условно нормально только на чистом опенкарт в идеальных условиях.  См. выше мой пост, в котором я писал лишь небольшие примеры неидеальных изображений, которые встречаются на каждом шагу.

 

@Rassol2 прав, когда говорит, что его SimplePars выполняет свою работу в объеме поставленной задачи. У SimplePars нет задачи обработать webp, там есть задача закачать изображения.

 

Впрочем, возможно, что я могу и @Rassol2 помочь в решении вопроса скачивания правильного формата вместо webp или преобразовании webp  в правильный формат (jpeg,png) чтобы далее все корректно работало без переделки опенкрат.

 

У меня есть разные варианты решения данной проблемы. Остается понять нужно ли это заказчикам и/или нужно ли это разработчикам в рамках работы парсера.

 

Например, я могу просто сделать свое дополнение к парсеру для работы с webp. Если разработчику парсера это нужно, то я готов к сотрудничеству.

Но нужно понимать есть ли спрос.

 

Буквально на днях решал подобный вопрос с другим парсером. Там та же самая проблема с webp. @WEB_COAST , не встречал пока парсера, который не просто закачивает webp, но умеет еще и обработать его. Поскольку ко мне люди часто обращаются с разнообразными проблемами с изображениями, то я уже сталкивался с результатами работы разных парсеров.

 

[sitecreator]

 

 

@Rassol2 @WEB_COAST , создал соответствующий блог чтобы обсудить необходимость создания решения для работы с webp. так сказать, полной его поддержки в опенкарт.

Далее прошу все свои соображения писать в данном блоге.

 

 

[kostya242]

6 часов назад, sitecreator сказал:

Например, я могу просто сделать свое дополнение к парсеру для работы с webp. Если разработчику парсера это нужно, то я готов к сотрудничеству.

Но нужно понимать есть ли спрос.

 

Спрос будет

[WEB_COAST]

8 часов назад, sitecreator сказал:

 

А разве должно?

См. мой пост выше.

 

Предполагаю, что вы ставите поддержку webp как выходного формата для отправки в браузер.

Это никак не решит проблему.

Да и нет ни одного бесплатного решения по работе с webp, которые работали бы нормально, а не через пень-колоду.  Все они работают условно нормально только на чистом опенкарт в идеальных условиях.  См. выше мой пост, в котором я писал лишь небольшие примеры неидеальных изображений, которые встречаются на каждом шагу.

 

@Rassol2 прав, когда говорит, что его SimplePars выполняет свою работу в объеме поставленной задачи. У SimplePars нет задачи обработать webp, там есть задача закачать изображения.

 

Впрочем, возможно, что я могу и @Rassol2 помочь в решении вопроса скачивания правильного формата вместо webp или преобразовании webp  в правильный формат (jpeg,png) чтобы далее все корректно работало без переделки опенкрат.

 

У меня есть разные варианты решения данной проблемы. Остается понять нужно ли это заказчикам и/или нужно ли это разработчикам в рамках работы парсера.

 

Например, я могу просто сделать свое дополнение к парсеру для работы с webp. Если разработчику парсера это нужно, то я готов к сотрудничеству.

Но нужно понимать есть ли спрос.

 

Буквально на днях решал подобный вопрос с другим парсером. Там та же самая проблема с webp. @WEB_COAST , не встречал пока парсера, который не просто закачивает webp, но умеет еще и обработать его. Поскольку ко мне люди часто обращаются с разнообразными проблемами с изображениями, то я уже сталкивался с результатами работы разных парсеров.

 

Мне не нужно, чтобы именно парсер обрабатывал картинки. Вы вообще о чём, уважаемый?

Меня просто поражает, что проблема должна встречаться у каждого первого (ну кто в 2021 ещё не использует webp? все изображения в любом маломальски адекватном ИМ в webp...), но всё упирается в то, что не просто нет решения какой-то глупейшей мелочи, так этот вопрос ещё даже никто толком не поднимал. 

 

WTF, ребята??? Вы что, серьёзно??? Ох уж этот опенкарт...

[WEB_COAST]

ацп
 

Змінено 16 травня 2021 користувачем WEB_COAST

[WEB_COAST]

11 часов назад, Rassol2 сказал:

Не совсем понял ваш так сказать "наезд"
Вы можете зайти и убедится что модуль все спарсил и записал в товар.
Какие могут быть вопросы к модулю который занимается скачиванием и заполнением товаров ?

Я если вы завтра захотите спарсить и загрузить в товар видео, на место фото. Вы тоже пройдете ко мне с претензией что видео на место фото не становится?
Поставьте модуль который будет поддерживать webp

Убедитесь что ваш поставленный модуль работает. И вы можете вручную добавить в товар фото в формате webp и оно работает нормально.
Если да, то конечно же я готов разобраться что не так.

 

Ну не я же должен адаптировать все магазины под этот формат. Мой модуль скачивает webp и загружает его к вам.
Он таже все прописывает в товаре как нужно.
Он даже выводить этот формат в пред просмотре парсинга в им.

Но не модуль SimplePars должен отвечать за то что опенкарт не умеет работать с этим форматом. И не моему модулю расширять эту возможность.
Поймите правильно, вопрос не там задаете.

Если мой модуль не сможет спарсить записать это фото вам в товар, пишите и я с радостью помогу решить вашу боль. Но в данном случаи боль у вас не от модуля, а от опенкарта.

Какой наезд, господи? У вас это уже инстинкт сформировался такой,  лепить отговорки? Успокойтесь, я лишь задаю вопросы, а не наезжаю, вы не путайте, пожалуйста.

 

По факту. Вы прекрасно знаете об этой проблеме, но вы о ней даже не заикаетесь. Почему? Только без отговорок про то, что вы никому ничего не должны и не обязаны, и бла бла бла.

 

Змінено 16 травня 2021 користувачем WEB_COAST

[Axelenz]

Парсер выполняет свою задачу - парсит всю информацию о товаре, для чего он изначально и предназначен. Поэтому обвинять его в том, что что-то там не работает в самой CMS это всё равно, что обвинять Mercedes-Benz в том, что их автомобили плохо ездят на бензине, разбавленном ослиной мочой... Ну да, нет идеальных CMS, но никто и не заставляет выбирать именно Opencart... есть прекрасная поделка Wordpress ))) 

[Rassol2]

1 час назад, WEB_COAST сказал:

По факту. Вы прекрасно знаете об этой проблеме, но вы о ней даже не заикаетесь. Почему? Только без отговорок про то, что вы никому ничего не должны и не обязаны, и бла бла бла.

Так в моем модуле нет никакой проблемы. Он прекрасно работает с webp ?
О чем мне нужно заикатся?

Давайте по порядку вы ответите на мои вопросы.
1. Мой модуль скачивает webp ?
2. Мой модуль записывает изображение в товар ?
3. Ваш опенкарт выводит эти изображения ?

Ответив на эти вопросы, вы поймете что вы глупости говорите.

PS. Кстати на всякий случай скажу, установить музыку вместо изображений товара, мой модуль тоже может. Но это не  будет работать без соответствующего модуля.
Так же можно скачать и загрузить фильм место фото, но это тоже не будет работать без соответствующего модуля.
А еше можно скачать и поставить все виды документов вместо фото, но это не будет работать без соответствующего фото.

А еше можно скачать и установить ..... на место фото НО это не будет работать без соответствующего модуля.
На месте точек вставляйте любое слово и мое утверждение это будет правдой.

 

Теперь я могу себя считать честным человеком который ничего не скрывает. 

[sitecreator]

4 часа назад, Axelenz сказал:

Ну да, нет идеальных CMS, но никто и не заставляет выбирать именно Opencart.

 

проблема еще в том, что хостеры не поддерживают сам формат webp.  Что толку если лишь в 15% случаев графическая библиотека GD php поддерживает webp?

Именно эта библиотека используется в опенкарт. И даже из этих 15% поддержка webp в GD очень проблемная - часть изображений получаются с черным фоном, часть вообще невидимые становятся.

 

Все начинается с хостинга. Ну нет там поддержки webp в подавляющем большинстве случаев.

Любой код, написаный для GD не будет работать в 85% случаев когда речь идет о WEBP.

[nivera5bonn]

Доброго времени суток! А установка и настройка модуля под конкретный сайт Вы сможете сделать? За отдельную плату...

[Rassol2]

23 минуты назад, nivera5bonn сказал:

Доброго времени суток! А установка и настройка модуля под конкретный сайт Вы сможете сделать? За отдельную плату...

Здравствуйте.
Установлю бесплатно после приобретения.
А по поводу настройки модуля на платной основе вам отпишутся. Здесь есть люди которые этим занимаются.