[Поддержка] SimplePars - Универсальный парсер для ИМ

[DPS]

1 час назад, Rassol2 сказал:

Такого правила нет.
Можно только составить правила на каждую букву.
{reg[#^а#]}|А
{reg[#^б#]}|Б

.....

Хоть что-то, благодарю)

[Axelenz]

44 минуты назад, DPS сказал:

Хоть что-то, благодарю)

Ну могу предложить более сложный, но зато более действенный вариант с проверкой на Заглавные буквы после точки:

{reg[#(?=(^а))а#]}|А
{reg[#(\.[ ]+)(?=(а))а#]}|$1А

 

Спойлер

 

смысл, я думаю, понятен, прописываем все буквы русского алфавита... ну разве что кроме "Ь" и "Ъ"... не помню слов, чтобы начинались на них...

{reg[#((?=(^а))|(\.[ ]+)(?=(а)))а#]}|$1А

Даже так работает )))

 

Минимизировал до такого:

{reg[#(^|(\.[ ]+))а#]}|$1А

 

Спойлер

 

Змінено 23 січня 2021 користувачем Axelenz

[DPS]

Спасибо всем откликнувшимся.

 

У меня наоборот только, нужно не заглавные, а прописные. Ну с этим то я понял, благодаря вашим примерам. Точек нет, тк предложение одно.

PS. Плюсы не пойму, как ставить... Палец вверх, или у меня мало сообщений. Плюсы не активны что-то

[Axelenz]

7 минут назад, DPS сказал:

Спасибо всем откликнувшимся.

 

У меня наоборот только, нужно не заглавные, а прописные. Ну с этим то я понял, благодаря вашим примерам. Точек нет, тк предложение одно.

PS. Плюсы не пойму, как ставить... Палец вверх, или у меня мало сообщений. Плюсы не активны что-то

Вам бы сначала изучить, что есть что...

Прописные

[partshez]

3 часа назад, partshez сказал:

Как вариант. Парсим с границами. Дальше создаем правила для каждой буквы. Например, так

{skip}/а|А... {skip}/б|Б...  {skip}/в|В...   {skip}/г|Г...   {skip}/д|Д...   {skip}/е|Е...

Т.е. после слеша первую букву заменяем на заглавную

Уточняю. Каждое правило с новой строки без многоточия в конце 

Таким образом изменяем буквы в одном предложении. Можно наоборот А/а изменить в правиле. Б/б...

Змінено 23 січня 2021 користувачем partshez

[Flint2000]

7 годин назад, Axelenz сказав:

Правильная формула очевидно будет так выглядеть...

 

Да, ваш вариант подошел. Спасибо

[geodek]

Здравствуйте!   Если я правильно понял, в модуле нет возможности парсить с донора названия и значения атрибутов с порядком сортировки как у донора?  А если в характеристиках еще присутствуют заголовки групп атрибутов, то при парсинге, получаются названия групп атрибутов (или заголовков), названия и значения самих  атрибутов -  в произвольном порядке. И когда атрибутов большое количество, -  возникают проблемы с их порядком сортировки.

 Уважаемые друзья, подскажите пожалуйста новичку, какими оптимальными способами сортировки большого количества  атрибутов, их значений и заголовков атрибутов при парсинге вы пользуетесь?

[Rassol2]

5 часов назад, geodek сказал:

Здравствуйте!   Если я правильно понял, в модуле нет возможности парсить с донора названия и значения атрибутов с порядком сортировки как у донора?

нет, потому что в опенкарте порядок указываться в сплош через все атрибуты. А их может быть тысяча, при этом парсится в товар только несколько. И как указать сортировку для всех атрибутов сразу да так что бы и в каждом товаре было правильно.
Это проблема опенкарта, проблема в сортировке атрибутов.

 

5 часов назад, geodek сказал:

А если в характеристиках еще присутствуют заголовки групп атрибутов, то при парсинге, получаются названия групп атрибутов (или заголовков), названия и значения самих  атрибутов -  в произвольном порядке.

Это вы сами правите через поиск замену.
 

 

5 часов назад, geodek сказал:

И когда атрибутов большое количество, -  возникают проблемы с их порядком сортировки.

Это я уже объяснил. Но ничего не мешает вам после парсинга расставить атрибуты в нужном вам порпядке.

5 часов назад, geodek сказал:

Уважаемые друзья, подскажите пожалуйста новичку, какими оптимальными способами сортировки большого количества  атрибутов, их значений и заголовков атрибутов при парсинге вы пользуетесь?

заголовки удаляем через поиск замену.
Сортируем атрибуты через раздел атрибутов в опренкарте.

[geodek]

10 часов назад, Rassol2 сказал:

заголовки удаляем через поиск замену.
Сортируем атрибуты через раздел атрибутов в опренкарте.

Rassol2 - Спасибо большое за Ваши ответы!   Но в моем случае заголовки все-таки будут нужны для обозначения группы характеристик. Буду дальше разбираться..

[Rassol2]

18 минут назад, geodek сказал:

Rassol2 - Спасибо большое за Ваши ответы!   Но в моем случае заголовки все-таки будут нужны для обозначения группы характеристик. Буду дальше разбираться..

Не за что.
 

[Rassol2]

Обновление 4.1-3_stable

Исправление связанное с сбоем сбора ссылок если выбран переключатель на сбор внутренних и внешних ссылок.
За найденный баг спасибо - @Rumit1990

Так как ошибка не критична в бета версии выйдет в следующем обновлении а именно 4.2-1_beta

[RuslanLight]

Добрый день!

По какой то неизвестнйо причине при парсинге в кроне останавливается парсинг на 146-150 ссылке из 1к или движется со скоростью близкой к 0.
Уже несколько раз перепроверял источник, перезапускал в кроне задание

В логах выдает все в порядке, но видно что парсинг след ссылки поизошел аж через 6 минут. хотя скорость выставлена 3 потока/1-2 сек:

Спойлер

 

 

Спойлер

 

Версия - v4.1-2_stable

Змінено 24 січня 2021 користувачем RuslanLight

[Rassol2]

@RuslanLight Для начала установите один поток.
Что бы исключить возможность того что модулю не хватает времени обработать три страницы за выделенное время на работу php скрипта.

[RuslanLight]

2 часа назад, Rassol2 сказал:

@RuslanLight Для начала установите один поток.
Что бы исключить возможность того что модулю не хватает времени обработать три страницы за выделенное время на работу php скрипта.

 

Установил один поток, дошло до 155 и потом за 2 часа продвинулось только к 175

Спойлер

 

Сервак совершенно не нагржун сейчас ни пхп процессами ни проц...
И кстати часть ссылок парсятся а часть только одна строчка с указанием кода ответа 200

 

Спойлер

Думал уже что это из-за прокси, но проверка прокси прошла успешно

Змінено 24 січня 2021 користувачем RuslanLight

[Rassol2]

Я такое встречал только в том случаи если ситуация следующая.

Допустим у вас на сайте время выполнения скрипта равна 30 сек.
Модуль запрашивает страницу с сайта донора, и получает ответ через 20 секунд
Дальше модуль смотрит сколько осталось времени до конца.
30 - 20 = 10 сек,
По умолчанию в модуле стоит правило если осталось меньше 15 секунда, прекратить выполнение, и запустить процес заново что бы не попасть на таймаут.
Проверить это вы можете указав в настройках запроса ограничение на время выполнения запроса в размере 5-10 сек.
И один поток, и затем посмотреть логи будет ли там написано по поводу нехватки времени на выполнение запросов.

Ваша ситуация очень похожа именно на такой сценарий.
Такое впечатление что донор позволяет спарсить 100 ссылок а затем начинает мониторить трафик замедляя его та как подозревает вас.

Проверьте эту теорию. И напишите что в логах будет.

[Rassol2]

@RuslanLight Если не сложно прячьте скриншоты под спойлер, так как част приходится работать с телефона а это боль.

[RuslanLight]

28 минут назад, Rassol2 сказал:

указав в настройках запроса ограничение на время выполнения запроса в размере 5-10 сек.

Если я правильно понял, то установил 5 сек на выполнение запроса, скрин:

 

Спойлер

 

Но в логах ничего подозрительного все равно не вылезло.
 Кстати парсинг не идет не только в кроне, но и в "ИМ" тоже, логи:

Спойлер

 

Змінено 24 січня 2021 користувачем RuslanLight

[Rassol2]

@RuslanLight ок тогда напишите в Лс доступ к админке и фтп.
И я посмотрю что у вас. Но это примерно через час.

[Reanimaster]

Добрый день. Подскажите как можно увеличить количество потоков свыше 5?
Благодарю.

[Rassol2]

1 час назад, Reanimaster сказал:

Добрый день. Подскажите как можно увеличить количество потоков свыше 5?
Благодарю.

Здравствуйте.
В файле
/admin/view/template/catalog/simplepars_productsetup.tpl

либо на той странице где вам нужно больше потоков.

По аналогии допишите любое количество.

Спойлер

Обратите внимание что после внесения таких правок за поддержкой можете не обращается я рассматривать не буду.
Увеличение потоков потоков произведет цепную реакцию изменений.
Начиная от недостатка времени выполнения скрипта пхп, нехватки озу, до блокировок за наглость со стороны донора.

Так что я не рекомендую это делать.

[Reanimaster]

6 часов назад, Rassol2 сказал:

Здравствуйте.
В файле
/admin/view/template/catalog/simplepars_productsetup.tpl

либо на той странице где вам нужно больше потоков.

По аналогии допишите любое количество.

  Показать контент

Обратите внимание что после внесения таких правок за поддержкой можете не обращается я рассматривать не буду.
Увеличение потоков потоков произведет цепную реакцию изменений.
Начиная от недостатка времени выполнения скрипта пхп, нехватки озу, до блокировок за наглость со стороны донора.

Так что я не рекомендую это делать.

Благодарю. Я понимаю. Но у меня VPS 4*4. И гружу фиды в основном. Для такого случая я думаю нормально будет.

[natashick]

Добрый день! Есть ли возможность как-то прикрутить данный модуль к версии oStore 1.5.5.1.1? Очень надо

[Rassol2]

6 минут назад, natashick сказал:

Добрый день! Есть ли возможность как-то прикрутить данный модуль к версии oStore 1.5.5.1.1? Очень надо

нет такой возможности нету. Сильно большой обьем работы.
Извините.

[Flint2000]

@Rassol2 Обновил модуль до 4.1_2, поломался парсинг в csv, дублируется поле Производитель и соответственно смещается колонка с остатками. В чем может быть проблема? Пробовал удалить и по новому создать структуру, ситуация таже

Прихований текст

Вопрос снимается, донор изменил структуру сайта

Змінено 26 січня 2021 користувачем Flint2000

[Aspirinnka1]

Скажите, а можно категории на вкладке Редактора товаров расширить? Чтобы название категории вмещалось в одну строчку. 

Где-то видел такое у вас раньше, но сейчас не могу найти. 

 

 

Спойлер