[Поддержка] SimplePars - Універсальний парсер для ІМ

[hippvik]

Добрый вечер! Подскажите , парсю изображение и оно парсится, но не ставится главным фото , а уходит в дополнительные и его приходится выставлять вручную.Что это может быть? версия модуля v3.4.2

 

 

  Показати вміст

 

Змінено 17 липня 2020 користувачем hippvik

[Rassol2]

  В 17.07.2020 в 19:34, hippvik сказав:

Добрый вечер! Подскажите , парсю изображение и оно парсится, но не ставится главным фото , а уходит в дополнительные и его приходится выставлять вручную.Что это может быть? версия модуля v3.4.2

Expand  

стоит посмотреть логи модуля. что там написано по поводу фото.

[hippvik]

  В 17.07.2020 в 23:25, Rassol2 сказав:

стоит посмотреть логи модуля. что там написано по поводу фото.

Expand  

  Показати вміст

2020-07-17 13:16:28| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://aquaton.store/zerkalo-akvaton-fidzhi-60-1a179502fg010-khrom/
2020-07-17 13:16:29| ->[ИЗОБРАЖЕНИЕ] : Загрузка успешна | Код ответа [200] Ссылка | https://aquaton.store/wa-data/public/shop/products/13/19/11913/images/10171/10171.580.jpg
2020-07-17 13:16:29| ->Добавлен атрибут в товар | attribute_id = 26 | [Бренд] = АКВАТОН
2020-07-17 13:16:29| ->Добавлен атрибут в товар | attribute_id = 121 | [Тип элемента] = зеркало
2020-07-17 13:16:29| ->Добавлен атрибут в товар | attribute_id = 123 | [Тип поверхности] = зеркальная
2020-07-17 13:16:29| ->Добавлен атрибут в товар | attribute_id = 125 | [Способ установки] = подвесная
2020-07-17 13:16:29| ->Добавлен атрибут в товар | attribute_id = 126 | [Тип товара] = Зеркало
2020-07-17 13:16:29| ->[ОБНОВЛЕН ТОВАР] ID = 9899 | Идентификатор sku = [1A179502FG010]
2020-07-17 13:16:29| -->Обновление | Описание = {описание в логи не пишется}
2020-07-17 13:16:29| -->Обновление | Дополнительные изображения = https://alushtaopt.com/image/catalog/aqwaton/10171.580.jpg
2020-07-17 13:16:29| -->Обновление | Атрибут добавлен в товар Бренд = АКВАТОН
2020-07-17 13:16:29| -->Обновление | Атрибут добавлен в товар Тип элемента = зеркало
2020-07-17 13:16:29| -->Обновление | Атрибут добавлен в товар Тип поверхности = зеркальная
2020-07-17 13:16:29| -->Обновление | Атрибут добавлен в товар Способ установки = подвесная
2020-07-17 13:16:29| -->Обновление | Атрибут добавлен в товар Тип товара = Зеркало

2020-07-17 13:16:29| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://aquaton.store/zerkalo-akvaton-riko-65-1a216402ri010-belyy-yasen-fabrik/
2020-07-17 13:16:30| ->[ИЗОБРАЖЕНИЕ] : Загрузка успешна | Код ответа [200] Ссылка | https://aquaton.store/wa-data/public/shop/products/27/17/11727/images/9985/9985.580.jpg
2020-07-17 13:16:30| ->Добавлен атрибут в товар | attribute_id = 26 | [Бренд] = АКВАТОН
2020-07-17 13:16:30| ->Добавлен атрибут в товар | attribute_id = 123 | [Тип поверхности] = зеркальная
2020-07-17 13:16:30| ->Добавлен атрибут в товар | attribute_id = 125 | [Способ установки] = подвесная
2020-07-17 13:16:30| ->Добавлен атрибут в товар | attribute_id = 121 | [Тип элемента] = зеркало
2020-07-17 13:16:30| ->Добавлен атрибут в товар | attribute_id = 126 | [Тип товара] = Зеркало
2020-07-17 13:16:30| ->[ОБНОВЛЕН ТОВАР] ID = 9807 | Идентификатор sku = [1A216402RI010]
2020-07-17 13:16:30| -->Обновление | Описание = {описание в логи не пишется}
2020-07-17 13:16:30| -->Обновление | Дополнительные изображения = https://alushtaopt.com/image/catalog/aqwaton/9985.580.jpg
2020-07-17 13:16:30| -->Обновление | Атрибут добавлен в товар Бренд = АКВАТОН
2020-07-17 13:16:30| -->Обновление | Атрибут добавлен в товар Тип поверхности = зеркальная
2020-07-17 13:16:30| -->Обновление | Атрибут добавлен в товар Способ установки = подвесная
2020-07-17 13:16:30| -->Обновление | Атрибут добавлен в товар Тип элемента = зеркало
2020-07-17 13:16:30| -->Обновление | Атрибут добавлен в товар Тип товара = Зеркало

Вот что в логах.

[Rassol2]

@hippvik пока что мне не понятно что это, может дать доступ к админке и фтп. Я посмотрю у вас.
Так же напишите в каком проекте запустить что бы посмотреть на результат.

[EVgEnI0129]

del

Змінено 19 липня 2020 користувачем EVgEnI0129
нашел ответ в видеоуроке

[Rassol2]

Покажу что уже сделал по поводу нового инструмента по работе с ссылками.
Будет отдельная страница и выглядеть она будет так.

 

будет доступна возможность фильтровать ссылки, и сразуже переходить по ним.
Либо открывать пред просмотр Настройки парсинга, Парсинг в ИМ, парсинг в CSV , ну это было и в версии страницы которая называлась кеш.

Дальше можно будет отфильтровывать по списками.
По типу ошибки которую получил модуль при попытке парсить страницу.

В действиях пока думаю сделать следующие фунции.
1. Редактировать ссылки, массово. К примеру вырезать что то из ссылки.
2. Добавить в конец ссылки. Бывают сайты где описание доступно только если в ссылке есть добавленных хвостик как #desc И это функция поможет быстро создать дубли ссылок да так что бы эти дубли содержали в конце #desc и вам не приходилось это делать как то вручную.
3. Перемещение ссылок в разные списки. Одна ссылка может находится только в одном списке.
4. Обнулять пометку об ошибках определенных ссылок.
5. Очищать кеш ссылок.

Дальше будет так же вкладчика по создания списков. Нужно же сперва их создать что бы туда что то положить.
Ну и вкладка где можно по старинке запустить парсинга в кеш, если вы хотите просто закешировать страницы без каких либо действий.

Понятное дело что при парсинга на всех вкладках где запускается парсинг будет доступен выбор парсинга ссылок из определенного списка, или ссылки только с ошибками. И так далее.

Все сейчас я ухожу до вечера, если кто прочтет, и у него родится еше какая то идея в этом ключе можете писать, пока не закончил все сделать внесу коррективы.
Если идея будет в ключе, и ну прям не заставит меня опять все с нуля делать

[xshader]

Может кто подскажет можно ли спарсить изображения со страницы, если они не видны в коде страницы, когда парсер пробегает

Вот пример страницы https://store.danfoss.com/ru/ru/Холодильная-техника/Клапаны/4-ходовые-реверсивные-клапаны/4-ходовой-реверсивный-клапан%2C-STF/p/061L1146

 

Как видит парсер:

  Показати вміст

 

Как подгружается для пользователя в браузере:

  Показати вміст

 

[Rassol2]

@xshader если оно есть в коде да.
Только нужно искать его.

К примеру я вижу что в коде есть.
 

  Показати вміст

Просто не там где вы смотрите.

[Rassol2]

модуль может спарсить то что есть в коде страницы.
К примеру тут я вижу что какие то фото подгружаются из вне.
 

  Показати вміст

То есть после загрузи страницы происходят доп запросы на получение информации. Вот такое уже не получится это не реализовано.

[xshader]

@Rassol2 точно, спасибо, получается главное фото есть в коде в виде https://assets.danfoss.com/images/preview/IMG106637557137/IMG106637557137_preview.jpg?w=96&h=96

Обрезаю ?w=96&h=96 и получаю фото нормального размера. А вот второстепенные фото уже подгружаются из внешнего ресурса:( 

Ну ладно, с главным фото уже тоже отлично.

[Rassol2]

 

  В 22.07.2020 в 07:32, xshader сказав:

точно, спасибо, получается главное фото есть в коде в виде https://assets.danfoss.com/images/preview/IMG106637557137/IMG106637557137_preview.jpg?w=96&h=96

Обрезаю ?w=96&h=96 и получаю фото нормального размера. А вот второстепенные фото уже подгружаются из внешнего ресурса:( 

Expand  

да именно.
 

[radosti]

Подскажите, могу ли я в окне настроек сбора ссылок указать только 2 и 4 уровень (без третьего)? и какой разделитель использовать? В ваших видео нашел только диапазоны.

Спасибо!

Змінено 22 липня 2020 користувачем radosti

[Rassol2]

  В 22.07.2020 в 14:11, radosti сказав:

Подскажите, могу ли я в окне настроек сбора ссылок указать только 2 и 4 уровень (без третьего)? и какой разделитель использовать? В ваших видео нашел только диапазоны.

Спасибо!

Expand  

нет можно указать конкретный уровень, и указать диапазон.
Но так как вы написали нет. Укажите 2-4 используйте другие настройки фильтров.

[radosti]

  В 22.07.2020 в 14:18, Rassol2 сказав:

нет можно указать конкретный уровень, и указать диапазон.
Но так как вы написали нет. Укажите 2-4 используйте другие настройки фильтров.

Expand  

К сожалению, так скорее всего не получится. Потому как 2 и 4 - это категория и страницы (/page/4/), а 3 это страницы фильтров, у которых нет ничего общего и не за что зацепиться. Уже более 200к страниц насобиралось (много товаров), и сервер уже не вывозит  

[Rassol2]

  В 22.07.2020 в 15:36, radosti сказав:

К сожалению, так скорее всего не получится. Потому как 2 и 4 - это категория и страницы (/page/4/), а 3 это страницы фильтров, у которых нет ничего общего и не за что зацепиться. Уже более 200к страниц насобиралось (много товаров), и сервер уже не вывозит  

Expand  

Парсите ссылки на категории. И все.
А затем выставляете парсинг ссылок которые содержат /page/
И все у вас есть и все категории нужные вам и все страницы каждой категории.

Ну либо используйте область.

  Показати вміст

То есть собирайте ссылки только с определенного куска страниц.
Есть старое видео по этому вопросу.

  Показати вміст

 

 

[radosti]

  В 22.07.2020 в 15:56, Rassol2 сказав:

Парсите ссылки на категории. И все.
А затем выставляете парсинг ссылок которые содержат /page/
И все у вас есть и все категории нужные вам и все страницы каждой категории.

Ну либо используйте область.

  Показати вміст

То есть собирайте ссылки только с определенного куска страниц.
Есть старое видео по этому вопросу.

  Показати вміст

 

 

Expand  

Да, все видео просматриваю перед походом в эту ветку. Спасибо! Ждем новые видео

[radosti]

  В 23.07.2020 в 07:33, radosti сказав:

Парсите ссылки на категории. И все.
А затем выставляете парсинг ссылок которые содержат /page/

Expand  

Вы имеете ввиду спарсить категории, сохранить ссылки товаров, и потом в этом же проекте поменять настройки сбора первичных ссылок на /page/ ?

 

[Rassol2]

  В 23.07.2020 в 07:34, radosti сказав:

Вы имеете ввиду спарсить категории, сохранить ссылки товаров, и потом в этом же проекте поменять настройки сбора первичных ссылок на /page/ ?

 

Expand  

Да, можно так.
Или вообще собрать ссылки при помощи sitemap.xml

[paseek]

Здравствуйте
Подскажите как при помощи регулярного выражения удалить все после первого пробела?
Т.е. есть например "слово1 слово2 слово3" а нужно чтобы осталось только "слово1"
В место "слово1" может быть что угодна и буквы и цифры и символы.

Пробовал такой вариант reg{[#\s.*#]} - не работает

[Rassol2]

  В 23.07.2020 в 08:38, paseek сказав:

Здравствуйте
Подскажите как при помощи регулярного выражения удалить все после первого пробела?
Т.е. есть например "слово1 слово2 слово3" а нужно чтобы осталось только "слово1"
В место "слово1" может быть что угодна и буквы и цифры и символы.

Пробовал такой вариант reg{[#\s.*#]} - не работает

Expand  

Все гораздо проще.
{reg[# (.*)#]}|

 

  Показати вміст

 

[Rassol2]

  В 23.07.2020 в 08:38, paseek сказав:

Пробовал такой вариант reg{[#\s.*#]} - не работает

Expand  

Кстати ваш вариант тоже рабочий.
Только вам нужно прочитать как правильно записывать регулярные выражения.
Здесь - https://simplepars.top/index.php?page=note&note_id=9

[Deniiisss]

кто может сделать настройки в SimplePars на сайт с товарами?

[Kiyoshi]

  В 23.07.2020 в 14:04, Deniiisss сказав:

кто может сделать настройки в SimplePars на сайт с товарами?

Expand  

Я могу, можете скинуть ТЗ мне в личку посмотрю что можно сделать.

[arthurborsuk]

Можно ли как-то научить этот парсер парсить цену из Google Таблицы?

[Rassol2]

  В 24.07.2020 в 10:39, arthurborsuk сказав:

Можно ли как-то научить этот парсер парсить цену из Google Таблицы?

Expand  

Здравствуйте.
нет, это вам нужен загрузчик прайс листов по типу АОП