[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

9 минут назад, Aspirinnka1 сказал:

Напомните, пожалуйста, вроде была тут регулярка по удалению двух одинаковых строчек. Не могу найти, поделитесь плз.

И второе, она будет работать в повторяющихся границах?

Цену не получается спарсить...
 

  Показать контент

 

Здравствуйте.
Вот есть такие заметки по регуляркам.
https://simplepars.top/index.php?page=note&n=37
И нет это не будет работать с повторяющимися границами парсинга, так как правила применяется конкретно к каждому повторению отдельно.
Если  в одном повторении будет две строки то модуль удалит, но если в разных по строке то нет.

[Aspirinnka1]

14 минут назад, Rassol2 сказал:

И нет это не будет работать с повторяющимися границами парсинга

Зараза, так и думал. Ладно, будем искать другое решение. Спасибо за подсказку.

 

Змінено 26 серпня 2021 користувачем Aspirinnka1

[Rassol2]

2 часа назад, Kiyoshi сказал:

Здравствуйте предлагаю изменить отображение логов работы модуля до десяти тысяч строк как это реализовано во вкладке Обработчик XML с одним исключение отображать последние десяти тысяч строк когда превышено ограничение по размеру файла.

Да можно реализовать идея не плохая.

[Rassol2]

4 часа назад, Kiyoshi сказал:

Здравствуйте предлагаю изменить отображение логов работы модуля до десяти тысяч строк как это реализовано во вкладке Обработчик XML с одним исключение отображать последние десяти тысяч строк когда превышено ограничение по размеру файла.

Вот теперь если лог превышает указанный размер, то модуль будет показывать последние 15т строк.
Удобненько, так как я сам часто натыкаюсь на то что пользователь не чистит логи и проверить что в логах становится довольно сложно.
 

Спойлер

Правда боюсь теперь люди вообще чистить логи перестанут.

Но такой вариант уже удобненько.

Появится в следующем релизе.

[Axelenz]

32 минуты назад, Rassol2 сказал:

Правда боюсь теперь люди вообще чистить логи перестанут.

Так а возможно добавить сообщение, которое при входе в форму, где логи превышают, например, 50 или сколько там метров, всплывало бы и предлагало почиститься ленивым ?

[Rassol2]

7 минут назад, Axelenz сказал:

Так а возможно добавить сообщение, которое при входе в форму, где логи превышают, например, 50 или сколько там метров, всплывало бы и предлагало почиститься ленивым ?

Не не хочу надоедать. Очистка лого на совести юзера.

[partshez]

54 минуты назад, Rassol2 сказал:

Вот теперь если лог превышает указанный размер, то модуль будет показывать последние 15т строк.
Удобненько, так как я сам часто натыкаюсь на то что пользователь не чистит логи и проверить что в логах становится довольно сложно.
 

  Показать контент

Правда боюсь теперь люди вообще чистить логи перестанут.

Но такой вариант уже удобненько.

Появится в следующем релизе.

Уточняю. А если выставить Обратный. Будут показываться 15 тыс строк последних, соответственно?

[Rassol2]

Только что, partshez сказал:

Уточняю. А если выставить Обратный. Будут показываться 15 тыс строк последних, соответственно?

15т будет показываться в том случаи если лог файл превышает допустимый обьем выбранный в настройках.
В остальных случаях будет показывать как и раньше все.

[Shulz80]

Здравствуйте. У донора картинки в формате webp. Если включаю преобразование при парсинге, модуль парсит 2-3 товара и останавливается. Жму на паузу, перезагружаю страницу, жму продолжить, снова 2-3 товара и стоп. Отключил пребразование, спарсил товары с webp картинками. Теперь пытаюсь конвертировать их через конвертер изображений в Редакторе товаров, но ничего не происходит. Жму кнопку, и ничего. Жду минуту, жму повторно, ничего. Он не запускается. Отфильтровывал по 40 товаров, так же не конвертит. В логах пусто.  Подскажите что не так делаю? Со стороны хостинга сказали ошибок нет.

[Rassol2]

1 минуту назад, Shulz80 сказал:

Здравствуйте. У донора картинки в формате webp. Если включаю преобразование при парсинге, модуль парсит 2-3 товара и останавливается. Жму на паузу, перезагружаю страницу, жму продолжить, снова 2-3 товара и стоп. Отключил пребразование, спарсил товары с webp картинками. Теперь пытаюсь конвертировать их через конвертер изображений в Редакторе товаров, но ничего не происходит. Жму кнопку, и ничего. Жду минуту, жму повторно, ничего. Он не запускается. Отфильтровывал по 40 товаров, так же не конвертит. В логах пусто.  Подскажите что не так делаю? Со стороны хостинга сказали ошибок нет.

Здравствуйте.
Дайте доступ в админку и фтп, и я проверю что это.
Возможно какой то библиотеки для преобразования webp  у вас нет.
Нужно смотреть.

[Aspirinnka1]

Народ, кто опытные, подскажите или можно тут спарсить опции с изображениями и ценой https://greenmebel.by/catalog/detskie/_krovat_ford/ 

Здесь цена товара зависит от размера и от выбранного цвета. Если бы просто цена от размера, то норм, такое я знаю как. А в этом случае не осилил. Или подскажите куда копать или в личку цена вопроса. 

[Rassol2]

1 час назад, Aspirinnka1 сказал:

Народ, кто опытные, подскажите или можно тут спарсить опции с изображениями и ценой https://greenmebel.by/catalog/detskie/_krovat_ford/ 

Здесь цена товара зависит от размера и от выбранного цвета. Если бы просто цена от размера, то норм, такое я знаю как. А в этом случае не осилил. Или подскажите куда копать или в личку цена вопроса. 

Такое через парсинг не осилить так как нету связи.
Только донор знает какие связи есть, какие у них цены и так далее, эту информацию он считает за зановесью, а на сайт только финальный результат выводит.

А это значит что мы не можем забрать все связи с значениями, потому что мы не знаем что к с чем вязано.
Как то так

[Axelenz]

1 час назад, Rassol2 сказал:

Такое через парсинг не осилить так как нету связи.

Я парсю подобное с помощью Вашего модуля. Как пример, один из последних спарсенных сайтов по матрасам, где связанные опции размер матраса + ткань чехла.

Вот сам донор: kondor.by и на том же битриксе... Есть правда ньюансы... заливать в магазин напрямую с помощью этого модуля действительно не получится, поскольку сама схема парсинга слишком сложная и не всё так просто. Поэтому использую всеми любимую связку SimplePars + АОП )))

[Rassol2]

3 минуты назад, Axelenz сказал:

Я парсю подобное с помощью Вашего модуля. Как пример, один из последних спарсенных сайтов по матрасам, где связанные опции размер матраса + ткань чехла.

Вот сам донор: kondor.by и на том же битриксе... Есть правда ньюансы... заливать в магазин напрямую с помощью этого модуля действительно не получится, поскольку сама схема парсинга слишком сложная и не всё так просто. Поэтому использую всеми любимую связку SimplePars + АОП )))

Я подразумевал парсинг напрямую, а как в эксель засунуть и потому же перенести на сайт это другой вопрос.

[Aspirinnka1]

13 часов назад, Axelenz сказал:

Вот сам донор: kondor.by и на том же битриксе

Знакомый товарищ  Сам пробовал, но плюнул и нашел другого донора. Да и на чехлы пришлось забить. Но, так как я делаю это для себя, то нормально.

[Aspirinnka1]

Скажите, а можно добавить возможность выбора магазина в который парсить товары? Я имею ввиду вот этот флажок

Спойлер

Может полезно будет?

[Rassol2]

7 минут назад, Aspirinnka1 сказал:

Скажите, а можно добавить возможность выбора магазина в который парсить товары? Я имею ввиду вот этот флажок

  Показать контент

Может полезно будет?

Здравствуйте.
Такая настройка есть.
 

Спойлер

 

[Aspirinnka1]

16 минут назад, Rassol2 сказал:

Такая настройка есть.

Тьфу ты,  а я искал во вкладке Парсинг в ИМ -> Данные  . Спасибо!

Змінено 28 серпня 2021 користувачем Aspirinnka1

[Rassol2]

7 минут назад, Aspirinnka1 сказал:

Тьфу ты,  а я искал во вкладке Парсинг в ИМ -> Данные  . Спасибо!

Значит туда и перенесу )
Потому что все же очень редкая настройка. Она исторически на главной находится. Нужно перенести в данные.
И данные переименовать в Дополнительное.

[Rassol2]

Хотя данные выглядите короче, и так везде в инструкциях указано.
Ладно, пока пусть так будет
Ляпнул не подумав )

[codenamexxxxx]

Как спарсить все страницы, если при переходе на иную страницу она имеет ту же силку /index.php. ?

По умолчанию парсит только одну страницу и в тех страницах силки.

[partshez]

Подскажите, кто может. Не могу загрузить фото. В Предпросмотре есть фото. С расширением .jpg. При сохранении на компе получается .webp. На сайте фото нет.

Пробовал в поиске замену .jpg|.webp. Включал Преобразование. Пока решения не нашел. Настройки на один товар во вложении. 

SPsetting-472.json

[codenamexxxxx]

Думал через sitemap.xml а его нету скрытый где то.

[Rassol2]

57 минут назад, codenamexxxxx сказал:

Думал через sitemap.xml а его нету скрытый где то.

Здравствуйте.
Напишите ссылку о которой идет речь, что бы все посмотреть.

[Rassol2]

1 час назад, partshez сказал:

Подскажите, кто может. Не могу загрузить фото. В Предпросмотре есть фото. С расширением .jpg. При сохранении на компе получается .webp. На сайте фото нет.

Пробовал в поиске замену .jpg|.webp. Включал Преобразование. Пока решения не нашел. Настройки на один товар во вложении. 

SPsetting-472.json 10 \u043a\u0411 · 0 downloads

Здравствуйте.

Если фото не имеют разрешение webp на них не работает фунция по преобразованию.
Можно написать свой скрипт который будет качать фото и сохранять их с форматом webp на диск.
А затем использовать встроенный инструмекнт для преобразования webp в jpg  ну или сразу это делать в скрипте.

Пока только так вижу.
Нужно будет проверить как поведет себя библиотека по преобразованию если там будет не тот формат. Возможно дописать еше один режим по типу принудительное преобразование, в не зависимости от формата. Но нужно время все протестировать.