[Поддержка] SimplePars - Универсальный парсер для ИМ

[partshez]

32 минуты назад, specialforce22 сказал:

Здравствуйте!

 

Парсю (или паршу ) карточку товара у нее выпадающим списком идут даты.

Мне необходимо только и именно первая - https://prnt.sc/1559xxr

Насколько я понял, у донора эти даты идут опциями.

Задал границы, спарсил и во вкладке поиск/замена очищаю - https://prnt.sc/155ajlh

Но в примере я знаю номер опции (в данном случае), поэтому она удаляется, а что сделать чтобы очищался сам по себе, какой бы там ни был номер, когда то будет другая опция?

 

Есть ли магическая штучка под такой момент?

 

Благодарю!

Создаете не повторяющуюся границу для опций, а простую. Будет парситься только первая опция. 

Или создать простую Границу опций. Повторяющуюуся в ней границу Опции. И настроить- брать только первую. Т.е. пропускать все, кроме первой...

Читайте здесь   https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyj-parser-dlja-im/?page=21&tab=comments#comment-1333912

 

Змінено 12 червня 2021 користувачем partshez

[specialforce22]

2 минуты назад, partshez сказал:

Создаете не повторяющуюся границу для опций, а простую. Будет парситься только первая опция. 

Или создать простую Границу опций. Повторяющуюуся в ней границу Опции. И настроить- брать только первую. Т.е. пропускать все, кроме первой...

 

Да, получается парсить именно первую опцию..

Не получается от этой штуки очистить если номер опции другой -  <option value="815135">

Ну, то есть в другом товаре будет, например, <option value="815136"> и она уже таким правилом не очистит - https://prnt.sc/155et02

[partshez]

59 минут назад, specialforce22 сказал:

 

Да, получается парсить именно первую опцию..

Не получается от этой штуки очистить если номер опции другой -  <option value="815135">

Ну, то есть в другом товаре будет, например, <option value="815136"> и она уже таким правилом не очистит - https://prnt.sc/155et02

Не правилом чистить, а Брать только Первую опцию. Для этого я описал разные варианты решения.

 

1 час назад, specialforce22 сказал:

 

Мне необходимо только и именно первая - https://prnt.sc/1559xxr

 

Брать только Первую опцию. Это задача поставлена? Варианты решения я написал. Читайте внимательнее и разберитесь...

Змінено 12 червня 2021 користувачем partshez

[Rassol2]

1 час назад, specialforce22 сказал:

Да, получается парсить именно первую опцию..

Не получается от этой штуки очистить если номер опции другой -  <option value="815135">

Ну, то есть в другом товаре будет, например, <option value="815136"> и она уже таким правилом не очистит - https://prnt.sc/155et02

В поиск замене есть {skip} - любые символы любое количество раз.
То есть правило на вырезение можно сделать таким.
<option value="{skip}">|
и оно вырежет этот кусок в независимости от того какая цифра в теге value

[specialforce22]

3 часа назад, Rassol2 сказал:

<option value="{skip}">|
и оно вырежет этот кусок в независимости от того какая цифра в теге value

 

Супер! Спасибо)

[danu]

Здравствуйте, подскажите пожалуйста ссылки с ошибка где можно посмотреть на вашем сайте не нашел(наверно не внимательно смотрел)?

[Rassol2]

Только что, danu сказал:

Здравствуйте, подскажите пожалуйста ссылки с ошибка где можно посмотреть на вашем сайте не нашел(наверно не внимательно смотрел)?

В разделе менеджер ссылок можно отфильтровать ссылки которые при парсинга получиль ответ с ошибкой.

[danu]

14 минут назад, Rassol2 сказал:

В разделе менеджер ссылок можно отфильтровать ссылки которые при парсинга получиль ответ с ошибкой.

спасибо

[TSwedkov]

Приветствую!

вынужден просить помощи повторно. дело не в кеше. вообще ни в чем!

приму любой совет!

Дело в том, что из 5600 ссылок дают ошибку 1528!

----

2021-06-13 10:36:23| !->[Товар Не создан/Не обновлен] : Неспарсен идентификатора товара, sku | По ссылке

2021-06-13 10:36:23| !->[Товар не обновлен] : В магазине не найден товар с sku = [] Ссылка |

---

Перед тем как писать решил вручную отобрать ссылки, которые не прошли. 25 штук!

И прогнать еще раз!

И чудо - не прошло 12.

Я прогнал теперь 12.

Из них не прошло 5.

Я прогнал 5- прошли все!

 

то есть если крутить их по кругу, то все проходит.

Нет никакой реальной ошибки.

что не схватывает, не подхватывает и тд.

 

При этом если опять прогнать 25, то опять будут ошибки! Но по другим товарам.

 

и что расстраивает- в товарах где ошибка зачем то прописывает цену 77 рублей!  наверное я где то такую цифру поставил или еще что то.

но в результате на сайте после обновления цен с донора  1528 позиций с ценой от 200 до 4 000 000 имеют цену 77 рублей.

 

1. Может быть какие то настройки поменять? увеличить разрешенное время загрузки или еще что то?

2. Как я могу отфильтровать 1528 ссылок из 5600? Только вручную через логи?

3. Реально ли добавить данную ошибку (хоть это и не ошибка!) в список, чтобы можно было заново прогонять?

 

 

 Спасибо!

 

 

 

 

[Rassol2]

1 минуту назад, TSwedkov сказал:

1. Может быть какие то настройки поменять? увеличить разрешенное время загрузки или еще что то?

2. Как я могу отфильтровать 1528 ссылок из 5600? Только вручную через логи?

3. Реально ли добавить данную ошибку (хоть это и не ошибка!) в список, чтобы можно было заново прогонять?

Здравствуйте.
На лицо сопротивление донора.
1. Скорее всего поставить паузу парсинга побольше, что бы за один и тот же промежуток времени делать меньше запросов к донору. Либо использовать прокси что бы каждый запрос шел с нового ip и донор не отсекал запросы.
2. только вручную.
3. сейчас такой функции нет. После выхода собственных скриптов будет реально.

[TSwedkov]

2 часа назад, Rassol2 сказал:

использовать прокси

10 штук. белый список.

пауза 10-60 сек. подстановка агентов и сесий и прочая.

постарался все по инструкции сделать.

 

Доноры- сайты на пром уа, тиу ру и диал бай.

это вроде одинаковых движок для трех стран.

предполагаю, что такая проблема редкая?

[Rassol2]

7 минут назад, TSwedkov сказал:

10 штук. белый список.

пауза 10-60 сек. подстановка агентов и сесий и прочая.

постарался все по инструкции сделать.

 

Доноры- сайты на пром уа, тиу ру и диал бай.

это вроде одинаковых движок для трех стран.

предполагаю, что такая проблема редкая?

Редко так ведут себя доноры.
Они как правило если банят то не меньше чем на пару часов, а не так что отбрасывают определенный запрос.
А еше луче, включите создание кеща. И после того как по определенной ссылке не будет найдет sku посмотрите что в кеше.
Так вы сможете узнать что именно отдал вам донор, может он вас перенаправил на ввод капчи.

Паузу парсинга нет смысла ставить больше 25 сек. Так как сам скрипт работает не дольше 30 секунд на хостинге.
В связи с этим не стоит ставить такую паузу.

[Dmitry76]

Всем привет.
Кто может подсказать? Настраиваю количество товара.
Есть 2 типа страниц у донора. В первых одна граница работает, во вторых - вторая.
Попытался объединить символом "или" в "Парсинг в ИМ", но выдается тогда количество "по умолчанию =111".  А должно выдаваться 0. Подскажите, неправильно делаю?

 

[Rassol2]

15 минут назад, Dmitry76 сказал:

Всем привет.
Кто может подсказать? Настраиваю количество товара.
Есть 2 типа страниц у донора. В первых одна граница работает, во вторых - вторая.
Попытался объединить символом "или" в "Парсинг в ИМ", но выдается тогда количество "по умолчанию =111".  А должно выдаваться 0. Подскажите, неправильно делаю?

 

Что у вас в двух границах парсинга ?
в момент когда модуль выставляет вам по умолчанию ?

[Dmitry76]

51 минуту назад, Rassol2 сказал:

Что у вас в двух границах парсинга ?
в момент когда модуль выставляет вам по умолчанию ?

В первой границе(показываю поиск и замена): "Сообщить о поступлении"|0 
Во второй: Нет в наличии|0
Если отдельно границы ставлю - одна на одном виде страниц работает как надо(ноль подставляет), вторая на другом виде. А вместе не работают, 111 ставится.

[Rassol2]

5 минут назад, Dmitry76 сказал:

В первой границе(показываю поиск и замена): "Сообщить о поступлении"|0 
Во второй: Нет в наличии|0
Если отдельно границы ставлю - одна на одном виде страниц работает как надо(ноль подставляет), вторая на другом виде. А вместе не работают, 111 ставится.

Скиньте настройки проекта и ссылку и я проверю. А то там мне сложно в голове все сопоставить.

[aguk84]

Здравствуйте.

Возникла проблема после оновления до последней бета версии с задачами через крон.

Запускаю сбор ссылок через крон, парсит 2-3 часа что бы собрать 5500 ссылок на товар. 

Запускаю тот же проэкт вручную - 5 минут.

Настройки крона - 1 минута, ничего не менял. До обновления все работало отлично.

В чем может быть проблема? 

Змінено 14 червня 2021 користувачем aguk84

[blyskavka]

Привет. 
Пытаюсь вырезать подряд стоящих 2 и более символов <br> в такой регулярке {reg[#<br>{2,}#]}|. Но не срабатывает, подскажите, пожалуйста, как правильно сделать. 

[Malciska]

23 минуты назад, blyskavka сказал:

Привет. 
Пытаюсь вырезать подряд стоящих 2 и более символов <br> в такой регулярке {reg[#<br>{2,}#]}|. Но не срабатывает, подскажите, пожалуйста, как правильно сделать. 

 <br><br>|

 <br> <br>|

[blyskavka]

4 минуты назад, Malciska сказал:

 <br><br>|

 <br> <br>|

это да, но бывает и 3, 5 и более и важно не все их вырезать а все что больше числа N

[Axelenz]

45 минут назад, blyskavka сказал:

это да, но бывает и 3, 5 и более и важно не все их вырезать а все что больше числа N

Вот так лучше будет:

 

{reg[#(\s*\<br\>\s*)+#]}|<br>

 

"{reg[#<br>{2,}#]}|" а такая конструкция и не сработает. Тут что написано то ? 2 или более подряд идущих <br>. Подряд! А как правило между ними есть или горизонтальные или вертикальные разделители...

Ну и экранирование мета-символов отсутствует...

Змінено 14 червня 2021 користувачем Axelenz

[Rassol2]

1 час назад, aguk84 сказал:

Здравствуйте.

Возникла проблема после оновления до последней бета версии с задачами через крон.

Запускаю сбор ссылок через крон, парсит 2-3 часа что бы собрать 5500 ссылок на товар. 

Запускаю тот же проэкт вручную - 5 минут.

Настройки крона - 1 минута, ничего не менял. До обновления все работало отлично.

В чем может быть проблема? 

Не знаю.
Пишите в лс данные к фтп и админке и я проверю.

[Rassol2]

1 час назад, blyskavka сказал:

Привет. 
Пытаюсь вырезать подряд стоящих 2 и более символов <br> в такой регулярке {reg[#<br>{2,}#]}|. Но не срабатывает, подскажите, пожалуйста, как правильно сделать. 

Здесь у вас написано два подряд стоящих > если я правильно помню.
Вам как минимум нужно сгруппировать все (<br>){2,}

Если я правильно помню.

[blyskavka]

4 часа назад, Axelenz сказал:

Вот так лучше будет:

 

{reg[#(\s*\<br\>\s*)+#]}|<br>

 

"{reg[#<br>{2,}#]}|" а такая конструкция и не сработает. Тут что написано то ? 2 или более подряд идущих <br>. Подряд! А как правило между ними есть или горизонтальные или вертикальные разделители...

Ну и экранирование мета-символов отсутствует...

работает, спасибо

[smagg]

Всем привет.

 

Помогите решить проблему, в чем суть:

 

Хочу спарсить товары с данного сайта https://cs-online.su/catalog/unitazy/podvesnoy_unitaz/82106/ основная проблема в фото, в парсере создал границы парсинга ссылки на фото отобразились все нормально, но ссылки на фото которые отобразились в парсере не существуют на сайте доноре, то есть имя одно и того же фото в парсере и на сайте разные.

 

Ну и когда вставляю адрес изображения из парсера на сайт донора выдает ошибку 404 как будто фото нет

 

Может кто уже сталкивался с подобным?

 

Кстати на этом сайте примерно неделю назад начали менять дизайн, думаю это важно в контексте данной проблемы