[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

03.05.2023 в 06:29, mirek сказал:

Спасибо за разъяснения и доработку

 

Главное что меня интересовало это спарсить/обновить в ИМ все товары. То есть для того, что-б парсинг в ИМ прошелся по всем 30000 ссылок на вкладке Парсить в ИМ надо после обработки 5000 ссылок нажимать Перегрузить ссылки и снова запускать процесс парсинга в ИМ ? Что перезагружает кнопка Перезагрузить ссылки ?

Ну вот почему вы не посмотрите видео ?
Зачем делать то что вы описываете.

Если у вас в очреди на сканирование 30т вы их просканировали. Вам нужно повторно это сделать нажимаете перезагрузить ссылки и они сново становятся в очередь на сканирование.
И не нужно ничего нажимать каждые 5000 или 10000 или 1000000 ссылок.
Я вас прошу, посмотрите видео по модулю. У вас просто отпадут вопросы которых и быть не должно.

[mirek]

03.05.2023 в 14:33, Rassol2 сказал:

почему вы не посмотрите видео ?

Смотрел. Там ответов на такие вероятно "очевидные" вещи нет. Сейчас проверил практикой Ваши ответы. Также иногда возникает желание переключить ОС или компьютер и было не понятно, что при этом сохранится в парсере.

[Rassol2]

03.05.2023 в 08:35, mirek сказал:

Смотрел. Там ответов на такие вероятно "очевидные" вещи нет. Сейчас проверил практикой Ваши ответы. Также иногда возникает желание переключить ОС или компьютер и было не понятно, что при этом сохранится в парсере.

Если включить видео на ютубе и переключить ос или комьютер у вас продолжится воспроизведение видео ? Или оно остановится и вы потом продолжете с того места где было остановлено.
Если у вас в первом случаи нет сомнений, то и в случаи парсинга их быть не должно.

[yarik2690]

Добрый день

Кто вот с таким сталкивался и как это лечить ?

1. НЕУДАЧНЫЙ ЗАПРОС!!!
2. Код ответа = 28
3. Текст ответа = Operation timed out after 15004 milliseconds with 0 bytes received
4. Ссылка = https://www.g2a.com/playstation-network-gift-card-50-gbp-psn-united-kingdom-i10000067097001?aid=13441640
5. Больше информации можно получить в логах модуля SimplePars

[Rassol2]

05.05.2023 в 07:32, yarik2690 сказал:

Добрый день

Кто вот с таким сталкивался и как это лечить ?

1. НЕУДАЧНЫЙ ЗАПРОС!!!
2. Код ответа = 28
3. Текст ответа = Operation timed out after 15004 milliseconds with 0 bytes received
4. Ссылка = https://www.g2a.com/playstation-network-gift-card-50-gbp-psn-united-kingdom-i10000067097001?aid=13441640
5. Больше информации можно получить в логах модуля SimplePars

Дак я вам дал ссылку где объясняется что это, и какие есть варианты действия.
На всякий случай продублирую и тут.
https://simplepars.top/index.php?page=note&n=53

 

Только не понятно чем вам указанные варианты лечения не подошли ?

[yarik2690]

Добрый день. 

Возможно проблема с хостингом (порты закрыты) написал в поддержку 

[mirek]

На счет Характеристик. Требуется если в товаре их нет совсем то добавлять. А если в товаре уже есть характеристики то добавлять только такие которых нет

 

Именно это делает опция Создавать/Добавлять/Обновлять ?  Выбран режим Обновление. Не будет дублей ?

[Axelenz]

07.05.2023 в 21:41, mirek сказал:

Именно это делает опция Создавать/Добавлять/Обновлять ?  Выбран режим Обновление. Не будет дублей ?

Дублей не будет, для этого и предназначено.

И не забывайте некоторые ньюансы, связанные с парсингом в разные языки, которые описаны тут

https://simplepars.top/index.php?page=note&n=39

 

Змінено 7 травня 2023 користувачем Axelenz

[Rassol2]

07.05.2023 в 13:41, mirek сказал:

На счет Характеристик. Требуется если в товаре их нет совсем то добавлять. А если в товаре уже есть характеристики то добавлять только такие которых нет

 

Именно это делает опция Создавать/Добавлять/Обновлять ?  Выбран режим Обновление. Не будет дублей ?

Обновление опции занимается обновлением значений существующих опций.

[dmitriy2506]

знатоки регулярных выражений подскажите пожалуйста есть ли техническая возможность удалить или заменить или преобразовать конкретный набор символов с помощью регулярных выражений например 6502530000 или [email protected]

[Axelenz]

08.05.2023 в 15:18, dmitriy2506 сказал:

знатоки регулярных выражений подскажите пожалуйста есть ли техническая возможность удалить или заменить или преобразовать конкретный набор символов с помощью регулярных выражений например 6502530000 или [email protected]

Они для этого и предназначены.

Только формулировать нужно задание конкретно, что нужно, а не или/или...

[partshez]

08.05.2023 в 15:18, dmitriy2506 сказал:

знатоки регулярных выражений подскажите пожалуйста есть ли техническая возможность удалить или заменить или преобразовать конкретный набор символов с помощью регулярных выражений например 6502530000 или [email protected]

6502530000| 

А так чем не подходит?

Змінено 8 травня 2023 користувачем partshez

[mirek]

Обновление привязано к артикулу. Соответственно SimpleParse может обновлять лишь те товары у которых артикул совпадает.

 

Но допустим извне не через SimpleParse добавили 50 товаров на сайт. При этом появится новых 50 артикулов которые SimpleParse может обнаружить на доноре.

 

Вопрос. В этом случае надо перезапускать парсинг с 0, что-бы SimpleParse нашел эти новые 50 товаров ?    

[Axelenz]

08.05.2023 в 17:10, mirek сказал:

В этом случае надо перезапускать парсинг с 0, что-бы SimpleParse нашел эти новые 50 товаров ?

Нет в этом необходимости. Главное, чтобы при последующем парсинге товаров с донора его Артикулы не совпадали с Артикулами добавленными вручную, чтобы разные товары не накладывались друг на друга.

Если же задача стоит обновлять товары, которые вручную добавлены, например, атрибуты взять с сайта донора или Описание или фото добавить, то тогда нормально, если Артикулы совпадают, товар будет обновлён.

Змінено 8 травня 2023 користувачем Axelenz

[mirek]

08.05.2023 в 17:20, Axelenz сказал:

его Артикулы не совпадали с Артикулами добавленными вручную, чтобы разные товары не накладывались друг на друга

Так это как раз и надо что-б накладывались. Просто при Обновлении Парсер добавляет/обновляет некоторую информацию в этих товарах

 

Да Задача состоит в том, что-бы в товарах добавленных вручную Обновить некоторую информацию. Надо ли для этого перезапускать Парсер с 0 ? Что-бы обновить информацию в товарах добавленных вручную

[Axelenz]

08.05.2023 в 17:52, mirek сказал:

Так это как раз и надо что-б накладывались. Просто при Обновлении Парсер добавляет/обновляет некоторую информацию в этих товарах

 

Да Задача состоит в том, что-бы в товарах добавленных вручную Обновить некоторую информацию. Надо ли для этого перезапускать Парсер с 0 ? Что-бы обновить информацию в товарах добавленных вручную

Чтобы давать однозначные советы, не понятно, как это сейчас у Вас организовано, работает ли у Вас cron.

"перезапускать Парсер с 0 ?" - эта фраза не очень понятна...

"Чтобы обновить информацию в товарах добавленных вручную" - информация сама по себе не обновится, парсер должен что-то спарсить. Или вручную запустить или через cron

Прежде всего необходимо понимать, что парсер - это всего лишь программа, которая выполняет определённые запрограммированные в ней действия. Выполняет не сама по себе, её необходимо как-то запустить (вручную или автоматически). Опять же она не обладает задатками ИИ, поэтому не является самообучаемой, её необходимо "обучать", правильно прописывая последовательность выполняемых действий...

Основное предназначение подобных программ - перевести повторяемые во времени монотонные действия человека в автоматический режим.

Змінено 8 травня 2023 користувачем Axelenz

[mirek]

08.05.2023 в 18:12, Axelenz сказал:

работает ли у Вас cron

Нет cron пока не используется. Запуски производятся вручную. Его иногда запускают и останавливают через интерфейс.

 

И вот вручную добавили 50 товаров. Надо обновить некоторую информацию в них. Достаточно ли в интерфейсе нажимать кнопку Плей, что-б это произошло ? 

Просто из Видео ясно что если парсер уже обработал ссылки категорий на доноре то он повторно не станет это делать

[Axelenz]

08.05.2023 в 18:55, mirek сказал:

Нет cron пока не используется. Запуски производятся вручную. Его иногда запускают и останавливают через интерфейс.

 

И вот вручную добавили 50 товаров. Надо обновить некоторую информацию в них. Достаточно ли в интерфейсе нажимать кнопку Плей, что-б это произошло ? 

Просто из Видео ясно что если парсер уже обработал ссылки категорий на доноре то он повторно не станет это делать

Вы добавили товар, теперь для обновления товара необходимо запустить парсер в режиме обновления. Нажать "Старт парсинга". Плей - это с другой темы... про медиаплееры.

[mirek]

08.05.2023 в 18:59, Axelenz сказал:

Плей - это с другой темы...

Ну эту кнопку по другому не назовешь )  То есть достаточно просто нажать "Старт парсинга" ?  Но по идее он ведь продолжить с тех ссылок которые в очереди. А добавленные 50 товаров могут быть среди уже  ранее обработанных ссылок

[Axelenz]

08.05.2023 в 19:03, mirek сказал:

Ну эту кнопку по другому не назовешь )  То есть достаточно просто нажать "Старт парсинга" ?  Но по идее он ведь продолжить с тех ссылок которые в очереди. А добавленные 50 товаров могут быть среди уже  ранее обработанных ссылок

Не хотели бы документацию почитать ? ) Весьма занимательное чтиво, сократит вопросы на порядок.

[dmitriy2506]

@partshez

08.05.2023 в 18:12, Axelenz сказал:

Чтобы давать однозначные советы, не понятно, как это сейчас у Вас организовано, работает ли у Вас cron.

"перезапускать Парсер с 0 ?" - эта фраза не очень понятна...

"Чтобы обновить информацию в товарах добавленных вручную" - информация сама по себе не обновится, парсер должен что-то спарсить. Или вручную запустить или через cron

Прежде всего необходимо понимать, что парсер - это всего лишь программа, которая выполняет определённые запрограммированные в ней действия. Выполняет не сама по себе, её необходимо как-то запустить (вручную или автоматически). Опять же она не обладает задатками ИИ, поэтому не является самообучаемой, её необходимо "обучать", правильно прописывая последовательность выполняемых действий...

Основное предназначение подобных программ - перевести повторяемые во времени монотонные действия человека в автоматический режим.

дело в том что я хочу использовать регулярку для настройки корзины симпл для защиты от бота который одни и теже данные вбивает в заказы нужно что бы с помощю регулярки поля не проходили валидацию т.е. задача удалить

[Axelenz]

08.05.2023 в 19:39, dmitriy2506 сказал:

дело в том что я хочу использовать регулярку для настройки корзины симпл для защиты от бота который одни и теже данные вбивает в заказы нужно что бы с помощю регулярки поля не проходили валидацию т.е. задача удалить

Регулярные выражения, которые используются в данном модуле имеют свой синтаксис.

Вам же нужен обычный синтаксис использования регулярных выражений в php

https://www.php.net/manual/ru/function.preg-replace.php

 

$str = preg_replace('/[email protected]/', '', $str);

 

Змінено 8 травня 2023 користувачем Axelenz

[shurc1]

Всем хорошего дня!

 

Можете подсказать, как можно спарсить из одинаковых элементов (например, "хлебных крошек" на сайте) предпоследний элемент? 

 

Ну например, взять вот этой сайт: 

https:// dvigateli. com.ua/p1068498915-dvigatel-audi-bby.html - донор

https://prnt.sc/gwHlV-VG0Mzq - что нужно спарсить

https://prnt.sc/slmrAw8ujrJJ - пытаюсь настроить с помощью повторяющейся границы парсинга

 

Но не получается. Настраиваю: пропустить 1 элемент с конца. Но ведь остается еще несколько элементов, а мне нужно оставить только один (предпоследний) - "Audi A2"

[Axelenz]

09.05.2023 в 12:20, shurc1 сказал:

Настраиваю: пропустить 1 элемент с конца. Но ведь остается еще несколько элементов, а мне нужно оставить только один (предпоследний) - "Audi A2"

В Вашем случае конкретно можно сделать двумя способами:

или так, как написал @partshez

 

или удалить сразу в Простой границе через Поиск/замену

{.*}"name"{.*}|$1
{.*}"name"{.*}|"name"$2

и тогда в повторяющейся НЕ пропускать никаких вхождений, там останется только одна категория...

--------------------------------------------------------------------------------------------------------------------

А что бы все категории получить, то нужно в повторяющихся указать:

Пропустить с начала и с конца 2-1, тогда получите:

Audi{csvnc}Audi A2

Змінено 9 травня 2023 користувачем Axelenz

[shurc1]

09.05.2023 в 12:25, Axelenz сказал:

{.*}{csvnc}|

https://prnt.sc/g94OpEWyZGuP так не получится, оно не удаляет {csvnc}

 

Если использовать повторяющуюся границу, чтобы отобрать нужные элементы то разделитель в этой повторяющейся границе (в данном случае {csvnc}) уже не удаляется во вкладке "Поиск и замена".

 

Если не использовать повторяющуюся границу, а использовать обычную, то тогда выражение {.*}{csvnc}| сработает. Но я не знаю, как тогда отобрать именно предпоследний элемент?