[Поддержка] SimplePars - Універсальний парсер для ІМ

[DPS]

  В 23.01.2021 в 11:27, Rassol2 сказав:

Такого правила нет.
Можно только составить правила на каждую букву.
{reg[#^а#]}|А
{reg[#^б#]}|Б

.....

Expand  

Хоть что-то, благодарю)

[Axelenz]

  В 23.01.2021 в 12:54, DPS сказав:

Хоть что-то, благодарю)

Expand  

Ну могу предложить более сложный, но зато более действенный вариант с проверкой на Заглавные буквы после точки:

{reg[#(?=(^а))а#]}|А
{reg[#(\.[ ]+)(?=(а))а#]}|$1А

 

  Показати вміст

 

смысл, я думаю, понятен, прописываем все буквы русского алфавита... ну разве что кроме "Ь" и "Ъ"... не помню слов, чтобы начинались на них...

{reg[#((?=(^а))|(\.[ ]+)(?=(а)))а#]}|$1А

Даже так работает )))

 

Минимизировал до такого:

{reg[#(^|(\.[ ]+))а#]}|$1А

 

  Показати вміст

 

Змінено 23 січня 2021 користувачем Axelenz

[DPS]

Спасибо всем откликнувшимся.

 

У меня наоборот только, нужно не заглавные, а прописные. Ну с этим то я понял, благодаря вашим примерам. Точек нет, тк предложение одно.

PS. Плюсы не пойму, как ставить... Палец вверх, или у меня мало сообщений. Плюсы не активны что-то

[Axelenz]

  В 23.01.2021 в 13:48, DPS сказав:

Спасибо всем откликнувшимся.

 

У меня наоборот только, нужно не заглавные, а прописные. Ну с этим то я понял, благодаря вашим примерам. Точек нет, тк предложение одно.

PS. Плюсы не пойму, как ставить... Палец вверх, или у меня мало сообщений. Плюсы не активны что-то

Expand  

Вам бы сначала изучить, что есть что...

Прописные

[partshez]

  В 23.01.2021 в 12:29, partshez сказав:

Как вариант. Парсим с границами. Дальше создаем правила для каждой буквы. Например, так

{skip}/а|А... {skip}/б|Б...  {skip}/в|В...   {skip}/г|Г...   {skip}/д|Д...   {skip}/е|Е...

Т.е. после слеша первую букву заменяем на заглавную

Expand  

Уточняю. Каждое правило с новой строки без многоточия в конце 

Таким образом изменяем буквы в одном предложении. Можно наоборот А/а изменить в правиле. Б/б...

Змінено 23 січня 2021 користувачем partshez

[Flint2000]

  В 23.01.2021 в 10:04, Axelenz сказав:

Правильная формула очевидно будет так выглядеть...

 

Expand  

Да, ваш вариант подошел. Спасибо

[geodek]

Здравствуйте!   Если я правильно понял, в модуле нет возможности парсить с донора названия и значения атрибутов с порядком сортировки как у донора?  А если в характеристиках еще присутствуют заголовки групп атрибутов, то при парсинге, получаются названия групп атрибутов (или заголовков), названия и значения самих  атрибутов -  в произвольном порядке. И когда атрибутов большое количество, -  возникают проблемы с их порядком сортировки.

 Уважаемые друзья, подскажите пожалуйста новичку, какими оптимальными способами сортировки большого количества  атрибутов, их значений и заголовков атрибутов при парсинге вы пользуетесь?

[Rassol2]

  В 23.01.2021 в 17:57, geodek сказав:

Здравствуйте!   Если я правильно понял, в модуле нет возможности парсить с донора названия и значения атрибутов с порядком сортировки как у донора?

Expand  

нет, потому что в опенкарте порядок указываться в сплош через все атрибуты. А их может быть тысяча, при этом парсится в товар только несколько. И как указать сортировку для всех атрибутов сразу да так что бы и в каждом товаре было правильно.
Это проблема опенкарта, проблема в сортировке атрибутов.

 

  В 23.01.2021 в 17:57, geodek сказав:

А если в характеристиках еще присутствуют заголовки групп атрибутов, то при парсинге, получаются названия групп атрибутов (или заголовков), названия и значения самих  атрибутов -  в произвольном порядке.

Expand  

Это вы сами правите через поиск замену.
 

 

  В 23.01.2021 в 17:57, geodek сказав:

И когда атрибутов большое количество, -  возникают проблемы с их порядком сортировки.

Expand  

Это я уже объяснил. Но ничего не мешает вам после парсинга расставить атрибуты в нужном вам порпядке.

  В 23.01.2021 в 17:57, geodek сказав:

Уважаемые друзья, подскажите пожалуйста новичку, какими оптимальными способами сортировки большого количества  атрибутов, их значений и заголовков атрибутов при парсинге вы пользуетесь?

Expand  

заголовки удаляем через поиск замену.
Сортируем атрибуты через раздел атрибутов в опренкарте.

[geodek]

  В 23.01.2021 в 23:50, Rassol2 сказав:

заголовки удаляем через поиск замену.
Сортируем атрибуты через раздел атрибутов в опренкарте.

Expand  

Rassol2 - Спасибо большое за Ваши ответы!   Но в моем случае заголовки все-таки будут нужны для обозначения группы характеристик. Буду дальше разбираться..

[Rassol2]

  В 24.01.2021 в 10:49, geodek сказав:

Rassol2 - Спасибо большое за Ваши ответы!   Но в моем случае заголовки все-таки будут нужны для обозначения группы характеристик. Буду дальше разбираться..

Expand  

Не за что.
 

[Rassol2]

Обновление 4.1-3_stable

Исправление связанное с сбоем сбора ссылок если выбран переключатель на сбор внутренних и внешних ссылок.
За найденный баг спасибо - @Rumit1990

Так как ошибка не критична в бета версии выйдет в следующем обновлении а именно 4.2-1_beta

[RuslanLight]

Добрый день!

По какой то неизвестнйо причине при парсинге в кроне останавливается парсинг на 146-150 ссылке из 1к или движется со скоростью близкой к 0.
Уже несколько раз перепроверял источник, перезапускал в кроне задание

В логах выдает все в порядке, но видно что парсинг след ссылки поизошел аж через 6 минут. хотя скорость выставлена 3 потока/1-2 сек:

  Показати вміст

 

 

  Показати вміст

 

Версия - v4.1-2_stable

Змінено 24 січня 2021 користувачем RuslanLight

[Rassol2]

@RuslanLight Для начала установите один поток.
Что бы исключить возможность того что модулю не хватает времени обработать три страницы за выделенное время на работу php скрипта.

[RuslanLight]

  В 24.01.2021 в 13:17, Rassol2 сказав:

@RuslanLight Для начала установите один поток.
Что бы исключить возможность того что модулю не хватает времени обработать три страницы за выделенное время на работу php скрипта.

Expand  

 

Установил один поток, дошло до 155 и потом за 2 часа продвинулось только к 175

  Показати вміст

 

Сервак совершенно не нагржун сейчас ни пхп процессами ни проц...
И кстати часть ссылок парсятся а часть только одна строчка с указанием кода ответа 200

 

  Показати вміст

Думал уже что это из-за прокси, но проверка прокси прошла успешно

Змінено 24 січня 2021 користувачем RuslanLight

[Rassol2]

Я такое встречал только в том случаи если ситуация следующая.

Допустим у вас на сайте время выполнения скрипта равна 30 сек.
Модуль запрашивает страницу с сайта донора, и получает ответ через 20 секунд
Дальше модуль смотрит сколько осталось времени до конца.
30 - 20 = 10 сек,
По умолчанию в модуле стоит правило если осталось меньше 15 секунда, прекратить выполнение, и запустить процес заново что бы не попасть на таймаут.
Проверить это вы можете указав в настройках запроса ограничение на время выполнения запроса в размере 5-10 сек.
И один поток, и затем посмотреть логи будет ли там написано по поводу нехватки времени на выполнение запросов.

Ваша ситуация очень похожа именно на такой сценарий.
Такое впечатление что донор позволяет спарсить 100 ссылок а затем начинает мониторить трафик замедляя его та как подозревает вас.

Проверьте эту теорию. И напишите что в логах будет.

[Rassol2]

@RuslanLight Если не сложно прячьте скриншоты под спойлер, так как част приходится работать с телефона а это боль.

[RuslanLight]

  В 24.01.2021 в 15:30, Rassol2 сказав:

указав в настройках запроса ограничение на время выполнения запроса в размере 5-10 сек.

Expand  

Если я правильно понял, то установил 5 сек на выполнение запроса, скрин:

 

  Показати вміст

 

Но в логах ничего подозрительного все равно не вылезло.
 Кстати парсинг не идет не только в кроне, но и в "ИМ" тоже, логи:

  Показати вміст

 

Змінено 24 січня 2021 користувачем RuslanLight

[Rassol2]

@RuslanLight ок тогда напишите в Лс доступ к админке и фтп.
И я посмотрю что у вас. Но это примерно через час.

[Reanimaster]

Добрый день. Подскажите как можно увеличить количество потоков свыше 5?
Благодарю.

[Rassol2]

  В 25.01.2021 в 08:15, Reanimaster сказав:

Добрый день. Подскажите как можно увеличить количество потоков свыше 5?
Благодарю.

Expand  

Здравствуйте.
В файле
/admin/view/template/catalog/simplepars_productsetup.tpl

либо на той странице где вам нужно больше потоков.

По аналогии допишите любое количество.

  Показати вміст

Обратите внимание что после внесения таких правок за поддержкой можете не обращается я рассматривать не буду.
Увеличение потоков потоков произведет цепную реакцию изменений.
Начиная от недостатка времени выполнения скрипта пхп, нехватки озу, до блокировок за наглость со стороны донора.

Так что я не рекомендую это делать.

[Reanimaster]

  В 25.01.2021 в 09:36, Rassol2 сказав:

Здравствуйте.
В файле
/admin/view/template/catalog/simplepars_productsetup.tpl

либо на той странице где вам нужно больше потоков.

По аналогии допишите любое количество.

  Показати вміст

Обратите внимание что после внесения таких правок за поддержкой можете не обращается я рассматривать не буду.
Увеличение потоков потоков произведет цепную реакцию изменений.
Начиная от недостатка времени выполнения скрипта пхп, нехватки озу, до блокировок за наглость со стороны донора.

Так что я не рекомендую это делать.

Expand  

Благодарю. Я понимаю. Но у меня VPS 4*4. И гружу фиды в основном. Для такого случая я думаю нормально будет.

[natashick]

Добрый день! Есть ли возможность как-то прикрутить данный модуль к версии oStore 1.5.5.1.1? Очень надо

[Rassol2]

  В 26.01.2021 в 07:26, natashick сказав:

Добрый день! Есть ли возможность как-то прикрутить данный модуль к версии oStore 1.5.5.1.1? Очень надо

Expand  

нет такой возможности нету. Сильно большой обьем работы.
Извините.

[Flint2000]

@Rassol2 Обновил модуль до 4.1_2, поломался парсинг в csv, дублируется поле Производитель и соответственно смещается колонка с остатками. В чем может быть проблема? Пробовал удалить и по новому создать структуру, ситуация таже

  Показати вміст

Вопрос снимается, донор изменил структуру сайта

Змінено 26 січня 2021 користувачем Flint2000

[Aspirinnka1]

Скажите, а можно категории на вкладке Редактора товаров расширить? Чтобы название категории вмещалось в одну строчку. 

Где-то видел такое у вас раньше, но сейчас не могу найти. 

 

 

  Показати вміст