[Поддержка] SimplePars - Универсальный парсер для ИМ

[Dmitry76]

1 час назад, Rassol2 сказал:

Покажите ссылку проверю у себя.
Кстати можно всегда проверять на демо сайте, если есть подозрение на блокировку

я проверял и на другом сайте...
https://www.eldorado.ru/cat/detail/kholodilnik-indesit-ds-318-w/

[Reanimaster]

1 час назад, Flint2000 сказал:

Ну это проблематично на unix системах )))

Хорошо. Открыть список браузеров поддерживающих webp. И скачать браузер без этой поддержки. Все.

[Reanimaster]

1 час назад, Rassol2 сказал:

да понял прикольное решение

Зато как часики работает))

Как предложение добавьте включалку режима такого в парсер. Думаю многие спасибо скажут)

[Rassol2]

.

[Rassol2]

7 минут назад, Dmitry76 сказал:

я проверял и на другом сайте...
https://www.eldorado.ru/cat/detail/kholodilnik-indesit-ds-318-w/

Да выскакивают редиректы.
Сегодня попробую поискать как это обойти. Только позже сейчас еше на пару часов нужно покинуть рабочие место.

[Dmitry76]

21 минуту назад, Rassol2 сказал:

Да выскакивают редиректы.
Сегодня попробую поискать как это обойти. Только позже сейчас еше на пару часов нужно покинуть рабочие место.

Заранее благодарю!!!

[Aspirinnka1]

3 часа назад, Aspirinnka1 сказал:

Но появилась другая идея используя ваш новый {skip}. Мне оно пока даже больше нравится. Поскольку все описание товара обернуто в дивы, то вот такая конструкция прекрасно работает.

Все-таки, это не универсальное решение. для одного проекта подошло отлично, а для другого слишком много доп. условий/ограничений надо добавлять.

Если будет время, гляньте еще раз это regexp, плиз. Может я его не так записал?

{reg[#(.*?)(Кокосовая койра|3-зонный латексный монолит)(.*)#]}|$2

 

Нашел у вас в заметках отрицание, кстати. Сейчас попробую добавить или так не получится?

Змінено 4 березня 2021 користувачем Aspirinnka1

[Rassol2]

1 час назад, Aspirinnka1 сказал:

Нашел у вас в заметках отрицание, кстати. Сейчас попробую добавить или так не получится?

это не отрицания шаблона, это отрицания набора символов.
Это разные веши.
На скриншоте выше говорится взять все кроме букв abc причем они могут быть в любом порядке.

[Rassol2]

3 часа назад, Dmitry76 сказал:

Заранее благодарю!!!

Все оказалось банально просто, сайт донор пытается вас перенаправить потому что у вас не выставлены куки.
Заходим в настройки запросов включаем использовать куки, включаем получать куки с сайта донора.

Затем делаем первый запрос сайт донор пытается вас перенаправить но при этом выставляет вам куки.
А второй раз запросив страницу с использованием кук сайт донор все прекрасно отдает.
 

Спойлер

настройки запросов.
 

Спойлер

И результат.
 

Спойлер

 

[Aspirinnka1]

4 часа назад, Rassol2 сказал:

На скриншоте выше говорится взять все кроме букв abc причем они могут быть в любом порядке.

ну да, я уже попробовал. не вышло. я подумал, что здесь abc - это условно слова. Теперь понятно. 

[Dmitry76]

4 часа назад, Rassol2 сказал:

Все оказалось банально просто, сайт донор пытается вас перенаправить потому что у вас не выставлены куки.
Заходим в настройки запросов включаем использовать куки, включаем получать куки с сайта донора.

Затем делаем первый запрос сайт донор пытается вас перенаправить но при этом выставляет вам куки.
А второй раз запросив страницу с использованием кук сайт донор все прекрасно отдает.
 

  Скрыть контент

настройки запросов.
 

  Скрыть контент

И результат.
 

  Скрыть контент

 

ага, спасибо! А не подскажите, я через прокси работаю, как правило. Там нужно его прописывать?

[Rassol2]

32 минуты назад, Dmitry76 сказал:

ага, спасибо! А не подскажите, я через прокси работаю, как правило. Там нужно его прописывать?

как правильно прописывать прокси видно даже на самой странице с прокси.
 

Спойлер

 

[Rassol2]

Обновление 4.2-7_beta

Исправление недочетов.
Один из самых важных исправлений, это добавлена поддержку в запросе портов. Раньше при парсинге страницы содержашей порт могли быть сбои. Теперь это учтено.

Редактор товаров.
Добавлены новые технические задания несвязанные с редакторованием товаров.

1. Очистка логов проекта.
2. Очистка кэша проекта.
    

Спойлер

 

Я принял решения добавить такие задания для того что бы пользователи которые работают через крон, имели возможность очищать логи тоже через крон.
Допустим сделать задание очистить лог перет стартом задания.
И модуль перед тем как начать выполнять задание очистит лог проекта, и приступит к парсингу.
А вы как администратор всегда можете зайти и посмотреть логи за последний цикл работы.

 

Поиск замена.
Тестово добавлен два новых оператора.
{upper} - Поменять регистр букв на верхний.

{lower} - Поменять регистр букв на нижний, соответственно.
Эти операторы работают ИСКЛЮЧИТЕЛЬНО в правой стороне праивл.
Пример
{.*}|{upper}

Допустим при парсинге у нас имя товара пишется большими буквами, а мы хотим что бы имя товара было маленькими.

Спойлер

 

А теперь давайте в том же имение вернем большой регистр для буквы которой указывается мера измерения, то есть _12v_

 

Спойлер

 

Или вот пример текста где в три строки, все с маленькой буквы а мы хотим что бы первая буква в строке была заглавная.
 

Спойлер

Обратите внимание что для регулярных выражений порой необходимо использовать дополнительные операторы.
{reg[#^.#um]}
u - это многобайтовая кодировка, то есть наша utf-8 (русская) это нужно указать что бы регулярные выражения правильно зацепили букву.
m - правило применяется к многостроковому тексту, то есть по очереди к каждой строке.

 

То есть операторы {upper} и {lower}  - меняют регистр того что вы указали в правиле.
так же обратите внимание что эти два оператора должны быть записаны в правой части, без лишних пробелов, и так далее.

Вот так просто теперь можно играться с регистром в тексте.
Это поможет все приводить в порядок атрибуты имена товаров, да много чего.
Думаю знатоки уже потирают руки понимая где они это будут использовать.

Так же, это не войдет в основной блок инструкций, просто потому что это сложно для понимания.
Так что кто в теме записывайте себе эти операторы в записник.

Чуть не забыл, все кто подумал что теперь придется перепарсить товары что бы воспользоваться этой чудо возможностью, спешу вам сообщить что эта возможность так же доступна в редакторе товаров в функции поиск замена.
 

Спойлер

 

То есть вы можете уже сейчас изменять регистра текста в товарах который уже загружен у вас в магазин.

Ставим лайки, пишем комментарии, пожелания, критику, и главное тестируем что бы быстрее выпустить стабильную версию.

 

И да релиз выложил почти в 4 утра, так что в первой половине дня буду в глубокой спячке

 

Вот теперь все.

[farshmac]

Ахаха, спасибо, а то я мучался.
 

Спойлер

{reg[#[А]#u]}|а
{reg[#[Б]#u]}|б
{reg[#[В]#u]}|в
{reg[#[Г]#u]}|г
{reg[#[Д]#u]}|д
{reg[#[Е]#u]}|е
{reg[#[Ё]#u]}|ё
{reg[#[Ж]#u]}|ж
{reg[#[З]#u]}|з
{reg[#[И]#u]}|и
{reg[#[Й]#u]}|й
{reg[#[К]#u]}|к
{reg[#[Л]#u]}|л
{reg[#[М]#u]}|м
{reg[#[Н]#u]}|н
{reg[#[О]#u]}|о
{reg[#[П]#u]}|п
{reg[#[Р]#u]}|р
{reg[#[С]#u]}|с
{reg[#[Т]#u]}|т
{reg[#[У]#u]}|у
{reg[#[Ф]#u]}|ф
{reg[#[Х]#u]}|х
{reg[#[Ц]#u]}|ц
{reg[#[Ч]#u]}|ч
{reg[#[Ш]#u]}|ш
{reg[#[Щ]#u]}|щ
{reg[#[Э]#u]}|э
{reg[#[Ю]#u]}|ю
{reg[#[Я]#u]}|я
{reg[#[A]#u]}|a
{reg[#[B]#u]}|b
{reg[#[C]#u]}|c
{reg[#[D]#u]}|d
{reg[#[E]#u]}|e
{reg[#[F]#u]}|f
{reg[#[G]#u]}|g
{reg[#[H]#u]}|h
{reg[#[I]#u]}|i
{reg[#[J]#u]}|j
{reg[#[K]#u]}|k
{reg[#[L]#u]}|l
{reg[#[M]#u]}|m
{reg[#[N]#u]}|n
{reg[#[O]#u]}|o
{reg[#[P]#u]}|p
{reg[#[Q]#u]}|q
{reg[#[R]#u]}|r
{reg[#[S]#u]}|s
{reg[#[T]#u]}|t
{reg[#[U]#u]}|u
{reg[#[V]#u]}|v
{reg[#[W]#u]}|w
{reg[#[X]#u]}|x
{reg[#[Y]#u]}|y
{reg[#[Z]#u]}|z

 

{.*}|{lower} - а теперь всего на всего)

Змінено 5 березня 2021 користувачем farshmac

[Rassol2]

30 минут назад, farshmac сказал:

Ахаха, спасибо, а то я мучался.
 

  Показать контент

{reg[#[А]#u]}|а
{reg[#[Б]#u]}|б
{reg[#[В]#u]}|в
{reg[#[Г]#u]}|г
{reg[#[Д]#u]}|д
{reg[#[Е]#u]}|е
{reg[#[Ё]#u]}|ё
{reg[#[Ж]#u]}|ж
{reg[#[З]#u]}|з
{reg[#[И]#u]}|и
{reg[#[Й]#u]}|й
{reg[#[К]#u]}|к
{reg[#[Л]#u]}|л
{reg[#[М]#u]}|м
{reg[#[Н]#u]}|н
{reg[#[О]#u]}|о
{reg[#[П]#u]}|п
{reg[#[Р]#u]}|р
{reg[#[С]#u]}|с
{reg[#[Т]#u]}|т
{reg[#[У]#u]}|у
{reg[#[Ф]#u]}|ф
{reg[#[Х]#u]}|х
{reg[#[Ц]#u]}|ц
{reg[#[Ч]#u]}|ч
{reg[#[Ш]#u]}|ш
{reg[#[Щ]#u]}|щ
{reg[#[Э]#u]}|э
{reg[#[Ю]#u]}|ю
{reg[#[Я]#u]}|я
{reg[#[A]#u]}|a
{reg[#[B]#u]}|b
{reg[#[C]#u]}|c
{reg[#[D]#u]}|d
{reg[#[E]#u]}|e
{reg[#[F]#u]}|f
{reg[#[G]#u]}|g
{reg[#[H]#u]}|h
{reg[#[I]#u]}|i
{reg[#[J]#u]}|j
{reg[#[K]#u]}|k
{reg[#[L]#u]}|l
{reg[#[M]#u]}|m
{reg[#[N]#u]}|n
{reg[#[O]#u]}|o
{reg[#[P]#u]}|p
{reg[#[Q]#u]}|q
{reg[#[R]#u]}|r
{reg[#[S]#u]}|s
{reg[#[T]#u]}|t
{reg[#[U]#u]}|u
{reg[#[V]#u]}|v
{reg[#[W]#u]}|w
{reg[#[X]#u]}|x
{reg[#[Y]#u]}|y
{reg[#[Z]#u]}|z

 

{.*}|{lower} - а теперь всего на всего)

за одно напишите как оно у вас работает )) нужно же тестировать новый функционал.

[farshmac]

2 часа назад, Rassol2 сказал:

за одно напишите как оно у вас работает )) нужно же тестировать новый функционал.

{reg[#<td>.*#um]}|{lower}
На данный момент, такое правило применил к атрибутам, все хорошо отрабатывает. Выводит все значения атрибутов в нижнем регистре.
Повторяющиеся строки такого вида. 
 

Спойлер

Парсим:
!========== Повторение [№1] ========= Разделитель [{csvnc}] ========== !

Бренд</td><td>Jabo Marmi

!========== Повторение [№2] ========= Разделитель [{csvnc}] ========== !

Страна</td><td>Польша
  
Правила:
{reg[#<td>.*#um]}|{lower}
</td><td>|{csvnc}
Бренд|Производитель  
  
Вывод:
Производитель{csvnc}jabo marmi{csvnc}Страна{csvnc}польша

 

 

Змінено 5 березня 2021 користувачем farshmac

[aguk84]

Здравствуйте. 

Есть ли возможность добавлять Фильтр к товарам? Что то я не нашел такого пункта в парсере.

И возможно ли сделать в пункте Данные - Порядок сортировки, при добавлении товара брал тоже самое значение что и ID товара?

[Rassol2]

9 минут назад, aguk84 сказал:

Здравствуйте. 

Есть ли возможность добавлять Фильтр к товарам? Что то я не нашел такого пункта в парсере.

И возможно ли сделать в пункте Данные - Порядок сортировки, при добавлении товара брал тоже самое значение что и ID товара?

Фильтры нет такой возможности нет.
Используйте современные фильтры они сами умеют брать все данные с атрибутов брендов цены и так далее.

По сути сортировка так и отдается если у всех товаров одинаковое значение.

[partshez]

6 часов назад, aguk84 сказал:

Здравствуйте. 

Есть ли возможность добавлять Фильтр к товарам? 

Немного неправильно мыслите. Не фильтр добавляется к товарам. А товар, точнее атрибут товара, добавляется в фильтр. Парсер создает атрибуты товара.  А дальше работает модуль фильтров

Змінено 6 березня 2021 користувачем partshez

[Reanimaster]

3 часа назад, partshez сказал:

Не фильтр добавляется к товарам

Если человек имеет ввиду стандартные фильтры, то он вполне прав.

[Reanimaster]

Подскажите пожалуйста. Как сделать что бы вновь соданные категории были выключенными?

Спасибо.

[partshez]

18 минут назад, Reanimaster сказал:

Подскажите пожалуйста. Как сделать что бы вновь соданные категории были выключенными?

Спасибо.

Я делаю так. Создаю категорию Тест. Отключаю ее, т.е. не показывать в Главном меню. При добавлении указываю Тест-вложенность категорий донора. Потом раскладываю.

[Reanimaster]

И еще один. Можно ли как то использовать при парсинге ссылки другого проекта?

Объясню зачем, может лучшее решение найдется.

Есть поставщик. В фиде есть ID товара и ID группы товара.

По ID товара я гружу первый проект, добавляю товар и обновляю его количество и цену

По ID группы товара я гружу как бы опции из товара, потом соединяю через Опции как ссылка на товар.

Фиды - одинаковые использую. Но Приходится делать лишнее телодвижение - парсить ссылки из фида.

[Reanimaster]

1 минуту назад, partshez сказал:

Тест-вложенность категорий донора. Потом раскладываю.

Блин. Все гениальное всегда просто)))

Спасибо. 

С другой стороны, если я раз в неделю буду заходить - эта категория уже может в индекс улететь. Лишняя морока с редиректами потом.
Но все равно спасибо

Змінено 6 березня 2021 користувачем Reanimaster

[Reanimaster]

И еще один вопрос назрел)

Как по крону запускать больше одной задачи за раз, это возможно?
опять таки для крона и фидов. Обновление остатков и цен. Нагрузка там небольшая, несколько числовых значений. Но если поставщиков несколько - приходится ждать.

Заранее благодарю)