[Поддержка] SimplePars - Універсальний парсер для ІМ

[hippvik]

Добрый вечер! Подскажите , парсю изображение и оно парсится, но не ставится главным фото , а уходит в дополнительные и его приходится выставлять вручную.Что это может быть? версия модуля v3.4.2

 

 

Спойлер

 

Змінено 17 липня 2020 користувачем hippvik

[Rassol2]

3 часа назад, hippvik сказал:

Добрый вечер! Подскажите , парсю изображение и оно парсится, но не ставится главным фото , а уходит в дополнительные и его приходится выставлять вручную.Что это может быть? версия модуля v3.4.2

стоит посмотреть логи модуля. что там написано по поводу фото.

[hippvik]

8 часов назад, Rassol2 сказал:

стоит посмотреть логи модуля. что там написано по поводу фото.

Спойлер

2020-07-17 13:16:28| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://aquaton.store/zerkalo-akvaton-fidzhi-60-1a179502fg010-khrom/
2020-07-17 13:16:29| ->[ИЗОБРАЖЕНИЕ] : Загрузка успешна | Код ответа [200] Ссылка | https://aquaton.store/wa-data/public/shop/products/13/19/11913/images/10171/10171.580.jpg
2020-07-17 13:16:29| ->Добавлен атрибут в товар | attribute_id = 26 | [Бренд] = АКВАТОН
2020-07-17 13:16:29| ->Добавлен атрибут в товар | attribute_id = 121 | [Тип элемента] = зеркало
2020-07-17 13:16:29| ->Добавлен атрибут в товар | attribute_id = 123 | [Тип поверхности] = зеркальная
2020-07-17 13:16:29| ->Добавлен атрибут в товар | attribute_id = 125 | [Способ установки] = подвесная
2020-07-17 13:16:29| ->Добавлен атрибут в товар | attribute_id = 126 | [Тип товара] = Зеркало
2020-07-17 13:16:29| ->[ОБНОВЛЕН ТОВАР] ID = 9899 | Идентификатор sku = [1A179502FG010]
2020-07-17 13:16:29| -->Обновление | Описание = {описание в логи не пишется}
2020-07-17 13:16:29| -->Обновление | Дополнительные изображения = https://alushtaopt.com/image/catalog/aqwaton/10171.580.jpg
2020-07-17 13:16:29| -->Обновление | Атрибут добавлен в товар Бренд = АКВАТОН
2020-07-17 13:16:29| -->Обновление | Атрибут добавлен в товар Тип элемента = зеркало
2020-07-17 13:16:29| -->Обновление | Атрибут добавлен в товар Тип поверхности = зеркальная
2020-07-17 13:16:29| -->Обновление | Атрибут добавлен в товар Способ установки = подвесная
2020-07-17 13:16:29| -->Обновление | Атрибут добавлен в товар Тип товара = Зеркало

2020-07-17 13:16:29| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://aquaton.store/zerkalo-akvaton-riko-65-1a216402ri010-belyy-yasen-fabrik/
2020-07-17 13:16:30| ->[ИЗОБРАЖЕНИЕ] : Загрузка успешна | Код ответа [200] Ссылка | https://aquaton.store/wa-data/public/shop/products/27/17/11727/images/9985/9985.580.jpg
2020-07-17 13:16:30| ->Добавлен атрибут в товар | attribute_id = 26 | [Бренд] = АКВАТОН
2020-07-17 13:16:30| ->Добавлен атрибут в товар | attribute_id = 123 | [Тип поверхности] = зеркальная
2020-07-17 13:16:30| ->Добавлен атрибут в товар | attribute_id = 125 | [Способ установки] = подвесная
2020-07-17 13:16:30| ->Добавлен атрибут в товар | attribute_id = 121 | [Тип элемента] = зеркало
2020-07-17 13:16:30| ->Добавлен атрибут в товар | attribute_id = 126 | [Тип товара] = Зеркало
2020-07-17 13:16:30| ->[ОБНОВЛЕН ТОВАР] ID = 9807 | Идентификатор sku = [1A216402RI010]
2020-07-17 13:16:30| -->Обновление | Описание = {описание в логи не пишется}
2020-07-17 13:16:30| -->Обновление | Дополнительные изображения = https://alushtaopt.com/image/catalog/aqwaton/9985.580.jpg
2020-07-17 13:16:30| -->Обновление | Атрибут добавлен в товар Бренд = АКВАТОН
2020-07-17 13:16:30| -->Обновление | Атрибут добавлен в товар Тип поверхности = зеркальная
2020-07-17 13:16:30| -->Обновление | Атрибут добавлен в товар Способ установки = подвесная
2020-07-17 13:16:30| -->Обновление | Атрибут добавлен в товар Тип элемента = зеркало
2020-07-17 13:16:30| -->Обновление | Атрибут добавлен в товар Тип товара = Зеркало

Вот что в логах.

[Rassol2]

@hippvik пока что мне не понятно что это, может дать доступ к админке и фтп. Я посмотрю у вас.
Так же напишите в каком проекте запустить что бы посмотреть на результат.

[EVgEnI0129]

del

Змінено 19 липня 2020 користувачем EVgEnI0129
нашел ответ в видеоуроке

[Rassol2]

Покажу что уже сделал по поводу нового инструмента по работе с ссылками.
Будет отдельная страница и выглядеть она будет так.

 

будет доступна возможность фильтровать ссылки, и сразуже переходить по ним.
Либо открывать пред просмотр Настройки парсинга, Парсинг в ИМ, парсинг в CSV , ну это было и в версии страницы которая называлась кеш.

Дальше можно будет отфильтровывать по списками.
По типу ошибки которую получил модуль при попытке парсить страницу.

В действиях пока думаю сделать следующие фунции.
1. Редактировать ссылки, массово. К примеру вырезать что то из ссылки.
2. Добавить в конец ссылки. Бывают сайты где описание доступно только если в ссылке есть добавленных хвостик как #desc И это функция поможет быстро создать дубли ссылок да так что бы эти дубли содержали в конце #desc и вам не приходилось это делать как то вручную.
3. Перемещение ссылок в разные списки. Одна ссылка может находится только в одном списке.
4. Обнулять пометку об ошибках определенных ссылок.
5. Очищать кеш ссылок.

Дальше будет так же вкладчика по создания списков. Нужно же сперва их создать что бы туда что то положить.
Ну и вкладка где можно по старинке запустить парсинга в кеш, если вы хотите просто закешировать страницы без каких либо действий.

Понятное дело что при парсинга на всех вкладках где запускается парсинг будет доступен выбор парсинга ссылок из определенного списка, или ссылки только с ошибками. И так далее.

Все сейчас я ухожу до вечера, если кто прочтет, и у него родится еше какая то идея в этом ключе можете писать, пока не закончил все сделать внесу коррективы.
Если идея будет в ключе, и ну прям не заставит меня опять все с нуля делать

[xshader]

Может кто подскажет можно ли спарсить изображения со страницы, если они не видны в коде страницы, когда парсер пробегает

Вот пример страницы https://store.danfoss.com/ru/ru/Холодильная-техника/Клапаны/4-ходовые-реверсивные-клапаны/4-ходовой-реверсивный-клапан%2C-STF/p/061L1146

 

Как видит парсер:

Спойлер

 

Как подгружается для пользователя в браузере:

Спойлер

 

[Rassol2]

@xshader если оно есть в коде да.
Только нужно искать его.

К примеру я вижу что в коде есть.
 

Спойлер

Просто не там где вы смотрите.

[Rassol2]

модуль может спарсить то что есть в коде страницы.
К примеру тут я вижу что какие то фото подгружаются из вне.
 

Спойлер

То есть после загрузи страницы происходят доп запросы на получение информации. Вот такое уже не получится это не реализовано.

[xshader]

@Rassol2 точно, спасибо, получается главное фото есть в коде в виде https://assets.danfoss.com/images/preview/IMG106637557137/IMG106637557137_preview.jpg?w=96&h=96

Обрезаю ?w=96&h=96 и получаю фото нормального размера. А вот второстепенные фото уже подгружаются из внешнего ресурса:( 

Ну ладно, с главным фото уже тоже отлично.

[Rassol2]

 

6 минут назад, xshader сказал:

точно, спасибо, получается главное фото есть в коде в виде https://assets.danfoss.com/images/preview/IMG106637557137/IMG106637557137_preview.jpg?w=96&h=96

Обрезаю ?w=96&h=96 и получаю фото нормального размера. А вот второстепенные фото уже подгружаются из внешнего ресурса:( 

да именно.
 

[radosti]

Подскажите, могу ли я в окне настроек сбора ссылок указать только 2 и 4 уровень (без третьего)? и какой разделитель использовать? В ваших видео нашел только диапазоны.

Спасибо!

Змінено 22 липня 2020 користувачем radosti

[Rassol2]

6 минут назад, radosti сказал:

Подскажите, могу ли я в окне настроек сбора ссылок указать только 2 и 4 уровень (без третьего)? и какой разделитель использовать? В ваших видео нашел только диапазоны.

Спасибо!

нет можно указать конкретный уровень, и указать диапазон.
Но так как вы написали нет. Укажите 2-4 используйте другие настройки фильтров.

[radosti]

1 час назад, Rassol2 сказал:

нет можно указать конкретный уровень, и указать диапазон.
Но так как вы написали нет. Укажите 2-4 используйте другие настройки фильтров.

К сожалению, так скорее всего не получится. Потому как 2 и 4 - это категория и страницы (/page/4/), а 3 это страницы фильтров, у которых нет ничего общего и не за что зацепиться. Уже более 200к страниц насобиралось (много товаров), и сервер уже не вывозит  

[Rassol2]

17 минут назад, radosti сказал:

К сожалению, так скорее всего не получится. Потому как 2 и 4 - это категория и страницы (/page/4/), а 3 это страницы фильтров, у которых нет ничего общего и не за что зацепиться. Уже более 200к страниц насобиралось (много товаров), и сервер уже не вывозит  

Парсите ссылки на категории. И все.
А затем выставляете парсинг ссылок которые содержат /page/
И все у вас есть и все категории нужные вам и все страницы каждой категории.

Ну либо используйте область.

Спойлер

То есть собирайте ссылки только с определенного куска страниц.
Есть старое видео по этому вопросу.

Спойлер

 

 

[radosti]

15 часов назад, Rassol2 сказал:

Парсите ссылки на категории. И все.
А затем выставляете парсинг ссылок которые содержат /page/
И все у вас есть и все категории нужные вам и все страницы каждой категории.

Ну либо используйте область.

  Показать контент

То есть собирайте ссылки только с определенного куска страниц.
Есть старое видео по этому вопросу.

  Показать контент

 

 

Да, все видео просматриваю перед походом в эту ветку. Спасибо! Ждем новые видео

[radosti]

1 минуту назад, radosti сказал:

Парсите ссылки на категории. И все.
А затем выставляете парсинг ссылок которые содержат /page/

Вы имеете ввиду спарсить категории, сохранить ссылки товаров, и потом в этом же проекте поменять настройки сбора первичных ссылок на /page/ ?

 

[Rassol2]

1 минуту назад, radosti сказал:

Вы имеете ввиду спарсить категории, сохранить ссылки товаров, и потом в этом же проекте поменять настройки сбора первичных ссылок на /page/ ?

 

Да, можно так.
Или вообще собрать ссылки при помощи sitemap.xml

[paseek]

Здравствуйте
Подскажите как при помощи регулярного выражения удалить все после первого пробела?
Т.е. есть например "слово1 слово2 слово3" а нужно чтобы осталось только "слово1"
В место "слово1" может быть что угодна и буквы и цифры и символы.

Пробовал такой вариант reg{[#\s.*#]} - не работает

[Rassol2]

2 минуты назад, paseek сказал:

Здравствуйте
Подскажите как при помощи регулярного выражения удалить все после первого пробела?
Т.е. есть например "слово1 слово2 слово3" а нужно чтобы осталось только "слово1"
В место "слово1" может быть что угодна и буквы и цифры и символы.

Пробовал такой вариант reg{[#\s.*#]} - не работает

Все гораздо проще.
{reg[# (.*)#]}|

 

Спойлер

 

[Rassol2]

4 минуты назад, paseek сказал:

Пробовал такой вариант reg{[#\s.*#]} - не работает

Кстати ваш вариант тоже рабочий.
Только вам нужно прочитать как правильно записывать регулярные выражения.
Здесь - https://simplepars.top/index.php?page=note&note_id=9

[Deniiisss]

кто может сделать настройки в SimplePars на сайт с товарами?

[Kiyoshi]

3 минуты назад, Deniiisss сказал:

кто может сделать настройки в SimplePars на сайт с товарами?

Я могу, можете скинуть ТЗ мне в личку посмотрю что можно сделать.

[arthurborsuk]

Можно ли как-то научить этот парсер парсить цену из Google Таблицы?

[Rassol2]

3 минуты назад, arthurborsuk сказал:

Можно ли как-то научить этот парсер парсить цену из Google Таблицы?

Здравствуйте.
нет, это вам нужен загрузчик прайс листов по типу АОП