[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

1 минуту назад, travkovs сказал:

Вот эта строчка спасла - спасибо

поменяйте её на
{reg[#[^0-9.,]#]}| - Удалит из текста все кроме цифр. Точек, и запятых. Они нужны для указания десятичных чисел.

Так как цена может быть десятичной. А если вы будете использовать регулярку
{reg[#[^0-9]#]}|  - то в этом случаи будут только целые числа.

[travkovs]

Только что, Rassol2 сказал:

А вы не правы вам то пользователь дело сказал.
Заметки по регулярным выражениям

 

Вот одно из решений которое вам бы помогло.
{reg[#[^0-9.,]#]}| - Удалит из текста все кроме цифр. Точек, и запятых. Они нужны для указания десятичных чисел.

 

Пользователь уже потом исправил своё сообщение и дополнил.  И да это помогло!
В парсере очень много настроек. Не всегда получается сориентироваться

[travkovs]

1 минуту назад, Rassol2 сказал:

Так как цена может быть десятичной. А если вы будете использовать регулярку
{reg[#[^0-9]#]}|  - то в этом случаи будут только целые числа.

.

Понял, спасибки!

[Rassol2]

Только что, travkovs сказал:

.

Понял, спасибки!

не за что.

[lololod3]

В 09.01.2021 в 15:57, Rassol2 сказал:

Сделал возможность парсить фото опций.
По двум стандартам, стандарт опенкарта
И при помощи доп модуля от @mpn2005

Пример.
 

  Показать контент

Указание фото будет такое же как и цены опции, количества. Или значений.
 

  Показать контент

Так что уже ближайшую неделю выйдет бета версия с парсингом изображений опций.

Уже можно обновлять?

Змінено 9 лютого 2021 користувачем lololod3

[Aspirinnka1]

Очередное вопрос дилетанта. Настроил парс, настроил редактор товаров. Спарсил.

Как вы настраиваете крон? Обновление, добавление товаров, удаление и т.д.

Я правильно понимаю, что можно использовать след. схему для крона:

 

Спойлер

 

В данном варианте мы получаем добавление новых товаров, удаление не существующих, плюс актуальные цены и остатки.

Время запуска ставлю на ночь, чтобы моя активность не была замечена донором. Или ему без разницы когда его парсят и могут заблокировать в любой момент?

Я верно все сделал?

 

Змінено 9 лютого 2021 користувачем Aspirinnka1

[partshez]

36 минут назад, Aspirinnka1 сказал:

Очередное вопрос дилетанта. Настроил парс, настроил редактор товаров. Спарсил.

Как вы настраиваете крон? Обновление, добавление товаров, удаление и т.д.

Я правильно понимаю, что можно использовать след. схему для крона:

 

  Скрыть контент

 

В данном варианте мы получаем добавление новых товаров, удаление не существующих, плюс актуальные цены и остатки.

Время запуска ставлю на ночь, чтобы моя активность не была замечена донором. Или ему без разницы когда его парсят и могут заблокировать в любой момент?

Я верно все сделал?

 

Все верно. Можно увеличить паузу парсинга 2-5, например. Меньше будем дразнить донора

А время обычно выставляю 0-6. Т.е. до 6-ти утра. И Таймаут 6 часов, чтобы еще раз не запускалось задание сегодня

Змінено 9 лютого 2021 користувачем partshez

[Kiyoshi]

4 часа назад, Aspirinnka1 сказал:

Очередное вопрос дилетанта. Настроил парс, настроил редактор товаров. Спарсил.

Как вы настраиваете крон? Обновление, добавление товаров, удаление и т.д.

Я правильно понимаю, что можно использовать след. схему для крона:

 

  Показать контент

 

В данном варианте мы получаем добавление новых товаров, удаление не существующих, плюс актуальные цены и остатки.

Время запуска ставлю на ночь, чтобы моя активность не была замечена донором. Или ему без разницы когда его парсят и могут заблокировать в любой момент?

Я верно все сделал?

 

Да настройки верные но как уже было сказано очень рискованный подход донор может просто отправить за большое количество запросов в черный список.
В зависимости от того сколько товаров можно выставлять задержку к примеру если товаров мало можно загружать 0-5 секунд, если количество превышает 10...20к+ то тут лучше сразу от 5 секунд. Также можно по шаманить с cron на хостинге например мы знаем что процесс обновления займет 6 часов и задача стоит не привлекая внимание обновить и сроки не горят то можно задать в экспертном режиме такой вариант настроек работы cron * 0-12/2 * * * это означает что каждый второй час с 0 до 12 (0, 2, 4, 6, 8, 10) каждый день будет запускаться скрипт не крутясь на хостинге без остановки каждую минуту даже после завершения загрузки/обновления. Менеджер заданий (CRON) https://prnt.sc/yv8669

Считаю это более удобным вариантом ибо ни один пользователь даже с задержкой 0-5 или 5 секунд на протяжение даже 6 часов без перекура не может кликать отправлять запросы на сайт.

Змінено 9 лютого 2021 користувачем Kiyoshi

[NineBot]

On 2/3/2021 at 6:41 PM, Rassol2 said:

Теперь модуль адаптирован под работу с модулем Изображения опций PRO

Всё бы не плохо, но этот модуль заявлен только для 2ой и 1ой версии OpenCart. А как быть обладателям 3-ей версии?

[Kiyoshi]

Для тех кто имеет 3 версию нужно устанавливать. Более подробнее об данной возможности указано в https://simplepars.top/index.php?page=note&n=38 как и ссылки на модули которые подойдут для решения данного вопроса.

 

Змінено 9 лютого 2021 користувачем Kiyoshi

[NineBot]

2 minutes ago, Kiyoshi said:

дЛЯ ОБЛАДАТЕЛЕЙ ТРЕТЕЙ

Spoiler

И где на странице модуля интересно об этом сказанно???

[Rassol2]

8 минут назад, NineBot сказал:

И где на странице модуля интересно об этом сказанно???

модуль есть для третей версии.
Не на этой площадке, но есть.

[NineBot]

16 minutes ago, Kiyoshi said:

Для тех кто имеет 3 версию нужно устанавливать. Более подробнее об данной возможности указано в https://simplepars.top/index.php?page=note&n=38 как и ссылки на модули которые подойдут для решения данного вопроса.

 

Спасибо за линки!

[Kiyoshi]

Пожалуйста.

[Aspirinnka1]

1 час назад, partshez сказал:

Все верно. Можно увеличить паузу парсинга 2-5, например. Меньше будем дразнить донора

А время обычно выставляю 0-6. Т.е. до 6-ти утра. И Таймаут 6 часов, чтобы еще раз не запускалось задание сегодня

Супер, спасибо. Не понял только про таймаут. Я же в настройках указываю время запуска и день. По расписанию запуск должен происходить в 2 часа ночи по рабочим дням. Как оно может еще раз запуститься?

[partshez]

8 минут назад, Aspirinnka1 сказал:

Супер, спасибо. Не понял только про таймаут. Я же в настройках указываю время запуска и день. По расписанию запуск должен происходить в 2 часа ночи по рабочим дням. Как оно может еще раз запуститься?

Такой таймаут только для данного случая... Если время указано 0-6. Если у Вас указано время выполнения 2-3 ночи, тогда оставляете по умолчанию.

8 минут назад, Aspirinnka1 сказал:

А время обычно выставляю 0-6. Т.е. до 6-ти утра. И Таймаут 6 часов, чтобы еще раз не запускалось задание сегодня

 

[Rassol2]

5 часов назад, Aspirinnka1 сказал:

Как оно может еще раз запуститься?

Давайте рассмотри эту ситуации. На примерах.

Вы запланировали выполнения задания с 0-6 утра. Но вы же не знаете сколько точно нужно время на выполнения задания.
А если там в задании только одна ссылка? Она выполнится за секунду. Что дальше ?
Для ответа на этот вопрос как раз и есть тайм аут. Если задание было выполнено то оно повторно не запустится пока не закончится тайм аут.

Это очень полезно если у вас в заданиях пересекаются время.

К примеру парсинг одного проекта и другого в один и тот же период времени.
Модуль сделает первый проект, и на первом проекткте вступит в силу тайм маут, который позволит модулю приступить к выполнению второго проекта.

 

[Aspirinnka1]

1 час назад, Rassol2 сказал:

Давайте рассмотри эту ситуации. На примерах.

Вы запланировали выполнения задания с 0-6 утра. Но вы же не знаете сколько точно нужно время на выполнения задания.
А если там в задании только одна ссылка? Она выполнится за секунду. Что дальше ?
Для ответа на этот вопрос как раз и есть тайм аут. Если задание было выполнено то оно повторно не запустится пока не закончится тайм аут.

Это очень полезно если у вас в заданиях пересекаются время.

К примеру парсинг одного проекта и другого в один и тот же период времени.
Модуль сделает первый проект, и на первом проекткте вступит в силу тайм маут, который позволит модулю приступить к выполнению второго проекта.

 

Спасибо, темных пятен стало меньше

Попутно еще спрошу. 

У меня висит статус ожидает первый запуск. Но я вчера сохранил крон и, по идее, сегодня ночью задание должно было запуститься.

Что я не так сделал?

И что значит вкладка "Состояние" - это отключение/включение запуска задания, так? 

 

Спойлер

. 

[Kuzolya]

Здравствуйте!
скажите, пож-та, я обновила парсер до новой версии и у меня стали русские названия воспроизводиться с некорректной кодировкой.
Отображает везде в коде и в загруженной в кэш странице правильно, но когда нажимаю "предпросмотр границы" выходит абра-кадабра, и естественно при скачивании - эти слова не загружаются.
Это где-то можно поправить?

[Rassol2]

4 минуты назад, Kuzolya сказал:

Здравствуйте!
скажите, пож-та, я обновила парсер до новой версии и у меня стали русские названия воспроизводиться с некорректной кодировкой.
Отображает везде в коде и в загруженной в кэш странице правильно, но когда нажимаю "предпросмотр границы" выходит абра-кадабра, и естественно при скачивании - эти слова не загружаются.
Это где-то можно поправить?

Так это уже интересно.
недавно такое уже было.

Какой у вас хостинг ?

[partshez]

56 минут назад, Aspirinnka1 сказал:

Спасибо, темных пятен стало меньше

Попутно еще спрошу. 

У меня висит статус ожидает первый запуск. Но я вчера сохранил крон и, по идее, сегодня ночью задание должно было запуститься.

Что я не так сделал?

И что значит вкладка "Состояние" - это отключение/включение запуска задания, так? 

 

  Показать контент

. 

Запустить работу скрипта вручную. Смотрите инструкцию. Если работает нормально, проверяем задание на хостинге. Или обращаемся к хостеру за помощью в настройке задания. В той же инструкции указано

[Aspirinnka1]

25 минут назад, partshez сказал:

Запустить работу скрипта вручную. Смотрите инструкцию. Если работает нормально, проверяем задание на хостинге. Или обращаемся к хостеру за помощью в настройке задания. В той же инструкции указано

Понял, спасибо. что-то про инструкцию вылетело из головы, пардон

[Kiyoshi]

.

Змінено 10 лютого 2021 користувачем Kiyoshi

[Kiyoshi]

Здравствуйте периодически мне приходится работать с парйс листами которые все время нужно править перед загрузкой.
Спустя время поставщик обновляет обновляет прайс лист и снова приходится вносить изменения.
В связи с этим хочу предложить еще одну крупную хотелку.

Было бы неплохо если вы добавили загрузку прайс-листов но таким образом чтобы можно было использовать поиск замена над отдельными
ячейками хоть на форуме и достаточно великолепных модули по загрузке прайс листов но им не хватает поиск замены.

При таком раскладе мне бы было достаточно настроить проект всего один раз под нужный прайс и каждый раз обновляться в пару нажатий.

Понятное дело я не первый кто пришел к этой мысли но многим это было бы полезно.

[Rassol2]

5 часов назад, Kiyoshi сказал:

Здравствуйте периодически мне приходится работать с парйс листами которые все время нужно править перед загрузкой.
Спустя время поставщик обновляет обновляет прайс лист и снова приходится вносить изменения.
В связи с этим хочу предложить еще одну крупную хотелку.

Было бы неплохо если вы добавили загрузку прайс-листов но таким образом чтобы можно было использовать поиск замена над отдельными
ячейками хоть на форуме и достаточно великолепных модули по загрузке прайс листов но им не хватает поиск замены.

При таком раскладе мне бы было достаточно настроить проект всего один раз под нужный прайс и каждый раз обновляться в пару нажатий.

Понятное дело я не первый кто пришел к этой мысли но многим это было бы полезно.

Да, такие мысли, или около таких уже не раз мне писали.
Вот в чем суть, написать в приделах этого модуля будет довольно сложно, изначально был концеп что есть сторонний сайт и мы что то будем брать там.
Втиснуть это в SimplePars будет довольно авантюрное, да и поиск замену прийдется переделывать под ячейки.

Сейчас привязка идет по границам парсинга а там их нет.

Под такую задачу скорее стоит писать новый модуль с нуля. С учетом всех потребностей 21 года.
Но тут сразу много сложностей.
На энтузиазме такой проект не вытащить.
Писать его на платной основе, это риск так как есть конкуренты которые заняли свою нишу и их не подвинуть. Может получится так что я напишу потрачу год.

А потом выкину на свалку этот модуль только по той причине что никто не хочет его покупать.
А на голом энтузиазме составлять конкуренцию кому то не благодарное дело и меня за это не похвалят.

Если честно у меня тоже были такие планы когда то. Особенно делать не то что бы загрузчик но и что бы он выгружал из магазина все данные.
И что бы там была система поиск замена, и была возможность конфигурировать выходные прайсы.
Но пока что это мало востребовано.

Если будет резонанс на эту идею тогда будем думать пока что моя позиция такова.