[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

18 минут назад, Reanimaster сказал:

А не могли бы подсказать?

Достаточно ли этого?

Нет не могу. Мне не понятно для чего достаточно. Да и если честно не важно это.
Я не против что кто то переписывает модуль под себя. Для понимания моего говоно кода я специально оставляю такую кучу комментариев в коде, еше и на православном языке.

Но давайте договоримся что такие правки вы сами делаете.
У меня нет ни возможности ни честно говоря желания вникать в задумки всех вокруг, затем анализировать как это сделать и расписывать куда и что нужно прописать.

Такой процесс занимает гораздо больше времени и сил чем я могу себе позволить.

[Axelenz]

10 часов назад, Malciska сказал:

Будет работать диапазон 48 часов ?

 

Время не измеряется порядками типа 32, 64, 128, 256, 512, 1024... и т.д.

Если Вы хотите, чтобы cron срабатывал. например, Вт., Чт., Сб., то проще всего создать 3 (три) отдельных задания. Просто продублировать одно и то же, но в каждом случае указать разные дни недели. В первом случае ставить Вт., во втором - Чт., дальше - Сб.

Хотя сама идея представления времени, как вздумается, мне понравилась

 

Цитата

Настройка в кроне модуля : вторник, четверг  ставллю 2,4 ... При сохранении становится 24 . 

Дни через запятую нельзя перечислить или это буг?

 

Спойлер

К сожалению, разработчик ограничил нас, втиснув в рамки привычного 24-х часового формата...

Змінено 25 липня 2021 користувачем Axelenz

[Rassol2]

17 минут назад, Axelenz сказал:

К сожалению, разработчик ограничил нас, втиснув в рамки привычного 24-х часового формата...

Тут каюсь это правда.

Как-то у меня не хватает ума реализовать более гибко. Хотел как крон на хостинге.

 

Оставил как есть.

В итоге по правилу 95-5% так и не пришло время изменить это.

Может в будущем переделаю систему указания времени. Когда это станет более актуально.

 

[Axelenz]

Если бы в cron можно было выбирать, например, в дате:

- каждую непарную дату типа 1,3,5...31

- каждую парную дату типа 2,4,6...30

- каждый третий день типа 3,6,9...30

это бы реально расширило возможности. При такой возможности выбора, если подключить ещё выборочно дни недели, то можно уже получить рандомность, когда дни срабатывания cron текущей недели не будут совпадать с днями следующей недели...

А я за любую рандомность в парсинге, пусть даже с видением на перспективу...

Змінено 25 липня 2021 користувачем Axelenz

[Reanimaster]

2 часа назад, Rassol2 сказал:

Но давайте договоримся что такие правки вы сами делаете.
У меня нет ни возможности ни честно говоря желания вникать в задумки всех вокруг, затем анализировать как это сделать и расписывать куда и что нужно прописать.

Такой процесс занимает гораздо больше времени и сил чем я могу себе позволить.

Понял. Справедливо. Договорились.

[Reanimaster]

1 час назад, Axelenz сказал:

А я за любую рандомность в парсинге, пусть даже с видением на перспективу...

Таймаут парсинга. В нем можно указать сколько угодно часов + Указать дни + Несколько одиноковых задач с разным запуском. На самом деле поигравшись - можно добиться результата.

[Reanimaster]

2 часа назад, Rassol2 сказал:

Мне не понятно для чего достаточно

Для добавления фильтра. Я разобрался. Ошибка была допущена в JS.

[Reanimaster]

Вопрос появился. Парсинг заголовков. Никак не удается выдрать URL из Location. Есть мысли?

 

Спойлер

 

[Reanimaster]

В 23.07.2021 в 13:49, Reanimaster сказал:

Уважаемые пользователи. Сваял для себя мод, выкладываю может кому пригодится.

 

1) Увеличил лимит потоков. Для чего?

• Парсинг из кеша.
• Обработка XML/YML фидов, для обновления по крон или заливки без фото. Смысл в том что мы просто обрабатываем текстовые данные и обращаемся сами к себе, а не донору, и если позволяют ресурсы - почему бы их не использовать.

2) Увеличил лимит ожидания выполнения запроса. Для чего?

• Опять же таки XML/YML фиды. Бывают по 300-400 МБ и стандартного максимума в 25 секунд далеко не хватает. Либо, порой донор отдает фид "лениво". По кусочку. Опять же таки, если позволяют ресурсы - почему нет?

3) Добавил поле в модуль и карточку товара Ссылка на товар у донора. Для чего и почему не Location?

• Как минимум для отладки. Сравнить товар с донором не копируя и вставляя ссылку, а прям из карточки товара по клику на кнопку в новой вкладке откроется товар у донора.
• Потому что Location обрезает данные. Да можно это исправить в базе данных. Ну тут уже кому как предпочтительнее
• Потому что Location можно использовать и для других нужд. Того же идентификатора. Лимит у Location 128 символов. Остальные поля, используемые в качестве идентификатора не могут таким похвастать. Кроме наименования разумеется, но из Наименования делать идентификатор, как минимум "плохой тон".

Модификатор писался для версии 4.6. Но должен работать начиная с версии, где была введена поддержка HyperProductModels.

• Универсальный установщик для 2.3/3.0 opencart/ocstore.
• В модуле пункт находится на вкладке Данные внизу, под Закупочной ценой.
• В карточке товара пункт находится под вкладкой Расположение
• Файлы не заменяет, только модификатор, кто не знает что это гуглим Система Модификаторов Opencart.
• Делался для себя, соответственно поставляется As Is.

 

Установка:

• Установить через стандартный установщик
• Обновить модификаторы.
• Если опенкарт 3 так же обновить кеш шаблона и SAAS. (Шестеренка в правом верхнем углу на главной странице админки.)

 

Немного скринов.

  Показать контент

 

 

 

 

 

 

P.S. НИ В КОЕМ СЛУЧАЕ НЕ НУЖНО ПАРСИТЬ ДОНОРА БОЛЬШЕ ЧЕМ 5 ПОТОКОВ! Можно парсить из кеша, при условии что не будут скачиваться картинки, в том числе в описании. Одним словом не будет обращений к донору.

 

 

SimplePars+Threads+Time+Link.ocmod.zip 3 \u043a\u0411 · 6 downloads

 

 

SimplePars 100 потоков + Время запроса + Ссылка на товар донора v.1.2

 

Может кому нужно будет.

1. Добавил арифметические операции в поле Ссылка на товар
2. Добавил фильтр по полю Ссылка на товар в редактор товаров..
3. Добавил 301 и 302 коды в менеджер ссылок. Может это и не правильно, но мне понадобилось, может еще кому будет нужно. Для этого необходимо в настройках запросов отключить Переходить по редиректам.

 

Спойлер

 

SimplePars+Threads+Time+Link_1.2.ocmod.zip

Змінено 25 липня 2021 користувачем Reanimaster

[Reanimaster]

В 24.07.2021 в 10:24, Rassol2 сказал:

Допустим вы спарсили цену 570 у вас в магазине цена 620 для того что бы определить нужно обновлять цену в товаре или нет, необходимо как минимум достать из базы данных цену текущего товара и произвети сравнение. А регулярки тут не помогут.

 

Прошу прощения. А так разве нельзя сделать? Или есть "подвох"?

 

$price_old = '100.524';
$price_new = '100.5';

if ($price_new < $price_old) {
	echo 'Цена выше. Обновляем';
}else{
	echo 'Цена не выше. Не обновляем ';
}

 

[Reanimaster]

Кстати. По поводу моей недавней диллемы с фильтром 301 кодов. Не с украинского IP.

Включите переход по редиоректам и гляньте логи или предпросмотри на эти УРЛ. Это пример. Таких много

Вот для этого я и предлагал добавить возможность фильтрации не только по ошибкам, но в принципе по кодам страницы, кроме 200 разумеется.

https://militarist.ua/ru/catalog/clothes/tshirts-polo/casual-futbolki/peklo-toys-futbolka-kozak-na-chort-melange-grey/

https://militarist.ua/ru/catalog/m_tac_nashivka_bearded_skull_3d_pvc_black_grey_sort_2/

Змінено 25 липня 2021 користувачем Reanimaster

[Fill777]

Добрый день. Скажите, есть тестовый период модуля?

[Reanimaster]

9 минут назад, Fill777 сказал:

Добрый день. Скажите, есть тестовый период модуля?

 

Нет. Есть демо у разработчика. Для осознания нужен модуль или нет - вполне достаточно

[Fill777]

8 хвилин назад, Reanimaster сказав:

 

Нет. Есть демо у разработчика. Для осознания нужен модуль или нет - вполне достаточно

НУ а как понять тогда, справится ли он с моими задачами или нет?
 

[Reanimaster]

7 минут назад, Fill777 сказал:

НУ а как понять тогда, справится ли он с моими задачами или нет?

 

Очевидно же, зайти на демо-сайт разработчика и проверить.
Либо описать свои задачи, хотя бы, может чего и подскажут, а так на гуще гадать остается, что вам нужно от модуля.

[Fill777]

1 хвилину назад, Reanimaster сказав:

 

Очевидно же, зайти на демо-сайт разработчика и проверить.
Либо описать свои задачи, хотя бы, может чего и подскажут, а так на гуще гадать остается, что вам нужно от модуля.

Вы автор? Давайте пообщаемся в ЛС.

[Reanimaster]

Только что, Fill777 сказал:

Вы автор? Давайте пообщаемся в ЛС.

Я не автор. Но пообщаться в ЛС можем.

[Rassol2]

7 часов назад, Reanimaster сказал:

 

Прошу прощения. А так разве нельзя сделать? Или есть "подвох"?

 

$price_old = '100.524';
$price_new = '100.5';

if ($price_new < $price_old) {
	echo 'Цена выше. Обновляем';
}else{
	echo 'Цена не выше. Не обновляем ';
}

 

я не говорил что так нельзя.
Я сказал что для этого нужно доставать цену текущего товара и сравнивать с ним.
Но в прочем это у меня уже реализовано.

Не стоит писать вот такие примеры.
Аналогия.
Я написал что неудобно ходить в туалет в комбинезоне.

А вы в ответ написали что тут сложного? Просто снимите комбинезон.

Гениально. Как сразу никто не догадался.

Понятное дело, что нужно сравнивать цену старую и новую, тут не нужно иметь докторскую степень. Вопрос то был не в этом.

[Reanimaster]

4 минуты назад, Rassol2 сказал:

Понятное дело, что нужно сравнивать цену старую и новую, тут не нужно иметь докторскую степень. Вопрос то был не в этом.

Понял вас. Я просто спросил. Если чем задел, прошу прощения.

Змінено 25 липня 2021 користувачем Reanimaster

[Reanimaster]

Я помню человек просил сделать экспорт ссылок. Присоединяюсь к просьбе. Только не на странице сбора, а на странице менеджера ссылок, где более гибкая возможность фильтрации.

[Rassol2]

12 минут назад, Reanimaster сказал:

Понял вас. Я просто спросил. Если чем задел, прошу прощения.

Не задели.

Просто я не понимаю зачем я трачу время на объяснения когда вы просто пишите :

 

Цитата

А что тут сложного сравним цену один и цену два. ?

И сделать вывод.

 

 

[Rassol2]

15 минут назад, Reanimaster сказал:

Я помню человек просил сделать экспорт ссылок. Присоединяюсь к просьбе. Только не на странице сбора, а на странице менеджера ссылок, где более гибкая возможность фильтрации.

Это уже в обработке.

[Malciska]

Версия модуля 4,6,1 Буг наверное

 

Текст конца сбора 

вставляю, пробую фильтровать - не фильтрует.

стираю все ссылки, пробую собрать заново - получаю вообще пустой список. Хотя должно быть много.

[Reanimaster]

9 часов назад, Rassol2 сказал:

Просто я не понимаю зачем я трачу время на объяснения когда вы просто пишите :

 

Я же не только это написал.

 

17 часов назад, Reanimaster сказал:

Или есть "подвох"?

 

[Reanimaster]

9 часов назад, Rassol2 сказал:

Это уже в обработке.

Отлично. Спасибо.