[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

  В 02.05.2020 в 09:57, RomanBohutskyi сказав:

но в будущем реально доделать парсер чтобы можно все таки было?

Expand  

тот вариант что вы описали с группировкой ссылок нет. Такого не будет.
 

 

  В 02.05.2020 в 09:57, RomanBohutskyi сказав:

Кстати про редактор товаров - Есть возможность в редакторе товаров фильтр и действие добавить в крон?

Expand  

Да есть такая возможность.

 

  В 02.05.2020 в 09:57, RomanBohutskyi сказав:

Например у донора товар закончился и цена стоит 0 уже и тогда у меня цена тоже 0. Я до этого вручную фильтрую цены с 0 и отключаю их. Вижу что фильтр и действие не сохраняется к проекту для того чтобы его крон обрабатывал.

Expand  

не знаю куда вы смотрите но все прекрасно сохраняется. И даже есть в кроне. 
 

  Показати вміст

и вот выбор этого шаблона,
 

  Показати вміст

 

[Rassol2]

  В 02.05.2020 в 10:01, RomanBohutskyi сказав:

Так как признаков нет то сейчас только так можно?

Создаю проект Велосипеды - Подростковые и Беру категорию Велосипеды - Подростковые и по этой ссылке делаю парсинг ссылок на товары которые относятся к этой категории. И так к каждой категории свой проект парсинга. Так правильно? Или могут попасть товары с другой категории и спарситься, если есть в категории рекомендуемые товары с другой категории?

Expand  

Вариантов много вплоть до того что спарсить все сразу в одну категорию и разнести потом.
Создать скрытую категорию внутри нее создать аналогичную структуру как у донора и разнести товар по этим категориями. А затем из скрытой перенести куда вам нужно.

Экспериментируйте решений много.

[Rassol2]

  В 02.05.2020 в 10:09, RomanBohutskyi сказав:

Ну есть очередь с ссылок и это сканирование и проверка на наличие одинакового заголовка, перед созданием товара в ИМ - это все дополнительное время и если даже 20К ссылок. Но это не у все так пользователей будет. Эта функция отключена по умолчанию. Но если кому то нужно такой парсинг и обьединение в один товар, у кого то будет такой донор, та на его усмотрение пусть включает. И пользователь парсинга сам понимает, что это дополнительное время добавляется и парсить будет еще + несколько часов или суток. Но это его решение и если готов столько ждать, то это его решение и пусть ждет еще дополнительное время для того чтобы обьединять товары в один товар.

Expand  

ок. Тогда если появится большой спрос на решение такой задачи вернемся к этому вопросу.
Возможно будет и более подходящие решение.

[Rassol2]

  В 02.05.2020 в 10:21, RomanBohutskyi сказав:

У меня модуль скачан  21-04  - http://prntscr.com/s9m26y

Версия старая и не видел новой версии. Вижу что версия 3.4 вышла уже на следующий день)

Expand  

Подпишитесь на файлы модуля что бы не пропускать обновления.
 

  Показати вміст

И на эту ветку тут я публикую изменения которые вошли в тот или иной релиз.

[unitac2017]

Добрый день. а подскажите, пожалуйста как понять можем ли спарсить сайт поставщика? при тесте в демо, ставили ссылку и не показало загрузку страницы. Что это может значить?

Просто хочу понять сможем ли мы все сайты по необходимости парсить?

[Meoty]

Добрый день,

Нужна помощь.

Как устранить ошибку, появляется иногда после редактирования спарсенного товара:

 

SyntaxError: JSON.parse: unexpected character at line 1 column 1 of the JSON data
OK
<b>Warning</b>: unlink(/var/www/itshnika/storage/cache/cache.catalog.language.1588515329): No such file or directory in <b>/var/www/itshnika/itshnik.kiev.ua/system/library/cache/file.php</b> on line <b>68</b>{"oct_info_bar_close":"\u0417\u0430\u043a\u0440\u044b\u0442\u044c","oct_information_bar_more":"\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435","text_oct_information_bar":false,"oct_info_max_day":365,"oct_information_bar_value":"oct_information_bar","oct_information_bar_day_now":"2020-05-03 13:15:30"}

 

[Rassol2]

  В 03.05.2020 в 13:24, Meoty сказав:

Добрый день,
Нужна помощь.
Как устранить ошибку, появляется иногда после редактирования спарсенного товара:
 
SyntaxError: JSON.parse: unexpected character at line 1 column 1 of the JSON data
OK
Warning: unlink(/var/www/itshnika/storage/cache/cache.catalog.language.1588515329): No such file or directory in /var/www/itshnika/itshnik.kiev.ua/system/library/cache/file.php on line 68{"oct_info_bar_close":"\u0417\u0430\u043a\u0440\u044b\u0442\u044c","oct_information_bar_more":"\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435","text_oct_information_bar":false,"oct_info_max_day":365,"oct_information_bar_value":"oct_information_bar","oct_information_bar_day_now":"2020-05-03 13:15:30"}
 

А вы уверены что именно товары что спарсено? По ошибке видно что проблема с кешем.

Отправлено с моего Pixel через Tapatalk

[Meoty]

До парсинга таких ошибок не было, поэтому думается, что как-то связано...

[Rassol2]

  В 03.05.2020 в 13:50, Rassol2 сказав:

Warning: unlink(/var/www/itshnika/storage/cache/cache.catalog.language.1588515329): No such file or directory in /var/www/itshnika/itshnik.kiev.ua/system/library/cache/file.php on line 68

Expand  

конкретно вот эта ошибка гласит что.
Движок попытался удалить файл кеша с который лежит здесь.
/var/www/itshnika/storage/cache/cache.catalog.language.1588515329

Конструкция которая хочет удалить фацл находится здесь /var/www/itshnika/itshnik.kiev.ua/system/library/cache/file.php on line 68
И ошибка гласит что php не может удалить файл /var/www/itshnika/storage/cache/cache.catalog.language.1588515329 потому что его не существует.

Как это связано с парсингом я не представляю.
У вас еше много ошибок будут после появления модуля парсинга, но далеко не факт что причина в нем. Просто теперь он у вас есть.
Вам нужно понять что и почему пытается удалить этот файл. И кто его создает что бы узнать в чем причина.

В данном случаи модуль SimplePars не создает кеши товаров это не его юрисдикция, и он так же не чистит кеши.
 

[ILexus]

Rassol2, хочу поблагодарить за отличный модуль, ты сэкономил мне кучу времени, спасибо тебе огромное.

 

Теперь когда я получил руки мощнейший инструмент, хочется полностью автоматизировать рутинную работу, которую раньше выполнял в ручную. Меня интересует не сколько сам парсинг товаров, а сколько возможность, например, автоматически формировать цены от цен поставщиков(а цены в России из за дырявой экономики и слабого рубля, скачут постоянно). Когда товаров в магазине переваливает за тысячу, вручную это все делать такая боль. Очень хочется автоматизировать информацию о наличие товара у поставщиков и т.п.

 

Прежде всего прошу добавить тебя Индентификаторы товара UPС, EAN и JAN. Я сам добавил эти Идентификаторы товара по аналогии со SKU, но хотелось бы чтобы они были изначально в твоем модулей, чтобы при каждом обновлении не вносить в ручную изменения. Хотя многие и не используют эти поля по прямому назначению, они могут пригодиться в будущем кому то. Я сам использую их для артикулов и кодов разных поставщиков.

 

 

Очень странно, что никто об это не заявлял ранее. Никто не пользуется встроенной системой бонусов Opencart? Почему нет возможности заполнять Бонусные баллы(Reward Points). Бонусы к начислению за покупку и цена товара в бонусных баллах. Так же добавил эти поля по аналогии с акционными ценами и UPC.

  Показати вміст

 

 

Есть ли возможность формировать model товара при парсинге по собственному шаблону? Сейчас model при добавлении товара создается от последнего ID товара который существует в магазине:

$model = $this->db->query("SELECT MAX(`product_id`) as lid FROM " . DB_PREFIX . "product");
            $data['model'] = $model->row['lid']+1;

          
К сожалению мне не подходит данный метод формирования model, т.к. model у меня используется в магазине как 5 значный код товара, для облегченного поиска товаров на сайте.

 

Сейчас для формирование 5 значного кода товара, мне приходится прибегать к такой конструкции, что дико не удобно. Пример:

$data['model'] = $model->row['lid']+67941;

PS. Я не очень силен в php. Могу скинуть тебе свой файл admin/model/catalog/simplepars.php

 

[Rassol2]

@ILexus сразу сходу плюсу!
Достойно уважения если у вас есть задача и вы сами начинаете ее решать это всегда ценно.

 

  В 03.05.2020 в 20:09, ILexus сказав:

Прежде всего прошу добавить тебя Индентификаторы товара UPС, EAN и JAN. Я сам добавил эти Идентификаторы товара по аналогии со SKU, но хотелось бы чтобы они были изначально в твоем модулей, чтобы при каждом обновлении не вносить в ручную изменения. Хотя многие и не используют эти поля по прямому назначению, они могут пригодиться в будущем кому то. Я сам использую их для артикулов и кодов разных поставщиков.

Expand  

это все есть в задачах на реализацию, и будет сделано.

 

  В 03.05.2020 в 20:09, ILexus сказав:

Очень странно, что никто об это не заявлял ранее. Никто не пользуется встроенной системой бонусов Opencart?

Expand  

этого действительно никто еше не писал, о системе бонусов нет ни единого упоминания.
 

  В 03.05.2020 в 20:09, ILexus сказав:

Почему нет возможности заполнять Бонусные баллы(Reward Points). Бонусы к начислению за покупку и цена товара в бонусных баллах. Так же добавил эти поля по аналогии с акционными ценами и UPC.

Expand  

по двум причинам.
1. как уже написал действительно никто не спрашивал.
2. мне не совсем понятно как это вяжется с идеологией парсинга товаров. Навряд ли кто то эти данные будет парсить. Если их нужно заполнять в товары тогда для этого есть свои инструменты. Какие не будь пакетные редакторы товаров. Что то на подобие bath_editor, данный функционал подходит под пакетный редактор товаров чем под парсинг.

 

Если и буду реализовывать то это будет уже в виде функции на вкладке редактора товаров.

 

 

  В 03.05.2020 в 20:09, ILexus сказав:

Есть ли возможность формировать model товара при парсинге по собственному шаблону? Сейчас model при добавлении товара создается от последнего ID товара который существует в магазине:

$model = $this->db->query("SELECT MAX(`product_id`) as lid FROM " . DB_PREFIX . "product");
            $data['model'] = $model->row['lid']+1;

          
К сожалению мне не подходит данный метод формирования model, т.к. model у меня используется в магазине как 5 значный код товара, для облегченного поиска товаров на сайте.

Expand  

В данном случаи используется стандартный подход опенкарта. У вас более специфичный подход к своему товару.
В данном случаи это поле еше можно парсить а не только использовать стандартный подход.

 

  В 03.05.2020 в 20:09, ILexus сказав:

Сейчас для формирование 5 значного кода товара, мне приходится прибегать к такой конструкции, что дико не удобно. Пример:

$data['model'] = $model->row['lid']+67941;

Expand  

Но ведь по сути вы используете тот же самый id товара только прибавляете к нему 67941
В этом я не вижу большого смысла. Допустим код товара 87651 и вы добавляете к нему 67941 и получаете уникальный 155592
Почему в таком случаи не использовать просто уникальный 87651 он такой же уникальный как и 155592
Возможно для вас лично это критически важно, но давайте взглянем на саму задачу является ли для всех пользователей интернет магазинов на опенкарте критически важным иметь model численным и обязательно отличающимся от id товара. Ну или хотя бы какому количеству пользователей это действительно важно?

 

 

  В 03.05.2020 в 20:09, ILexus сказав:

PS. Я не очень силен в php. Могу скинуть тебе свой файл admin/model/catalog/simplepars.php

Expand  

Вот ответ на этот вопрос может породить много недовольства ко мне. Но попробую правильно объяснить мой выбор.

Ситуация такова. Если я приму ваше решение и внедрю в ядро модуля то я как минимум должен убедится что все работает верно и это вяжется с заложенным фундаментом модуля. Я не говорю что вы сделали неправильно я только про то что для меня будет сложнее сейчас убедиться в том что все сделано с заложенными идеями чем реализовать самому.
К примеру банально если пользователь выбирает обновить SKU и SKU является идентификатором товара, то модуль это обнаружит и не даст сделать проблему.
То же самое касается выхлопов в логи, модуль проверяет и делает сообщение в логи по поводу того спарсен не спарсен идентификатор, он пуст или не выбран.
То есть есть все обработчики этих событий. Вы их предусмотрели при внедрении этих дополнительных полей ?

PS. В остальном я тоже не силен в PHP скажем так я начал его изучать тогда когда начал писать модуль
Так что если вы смогли разобраться в этом безумстве то думаю уже поняли что я тоже далеко не профи. Но у нас есть идеи для реализаций это куда важнее.

Проблема с внедрением своего кода есть и есть она только по той причине что модуль активно развивается, он еше не дошел до стадии томления когда идеи иссякли все реализовано.
Вот вы банально за 10 дней сделали правки модуля, а я тем временем уже вот это написал и обкатываю.

  Показати вміст

 

И мой код уже отличается от того что есть в релизе.

А вообще так сообщу что сейчас идет по планам.
1. Допилы редактора товаров на горячую.
2. Сбор ссылок по крону.
3. Загрузка фото описаний. (Возможно загрузка файлов типа инструкция и тд.)
4. Система проверки границ парсинга и допусков к работе с товаром. Типо указываем если граница пустая то не добавляем товар не обновляем .... Или если граница равна какому то значению.
5. переработать систему работы с ссылками, дать возможность получить список ссылок которые не были спарсены или спарсены с ошибками, и тд. Возможность перезапустить парсинг исключительно по проблемным ссылкам.
6. Автоматическая авторизация на сайте доноре, и работа этой схемы в связке с кроном.

Это все планы на следующие месяцы. Так сказать основные точки отсчета.

[ILexus]

@Rassol2 сразу хочу пояснить, я не в коем случае ничего не навязываю, просто предложил по моему мнение упущенный функционал, который кушать не просит и отлично работает. Это твоя разработка и только тебе принимать решение.

 

  В 03.05.2020 в 21:51, Rassol2 сказав:

это все есть в задачах на реализацию, и будет сделано.

Expand  

Да кстати, там еще ISBN, MPN есть.

 

  В 03.05.2020 в 21:51, Rassol2 сказав:

по двум причинам.
1. как уже написал действительно никто не спрашивал.
2. мне не совсем понятно как это вяжется с идеологией парсинга товаров. Навряд ли кто то эти данные будет парсить. Если их нужно заполнять в товары тогда для этого есть свои инструменты. Какие не будь пакетные редакторы товаров. Что то на подобие bath_editor, данный функционал подходит под пакетный редактор товаров чем под парсинг.

Expand  

Да согласен, бонусные баллы с донора не нужно парсить. Основная суть заключается в том, чтобы при добавлении товара или обновлении цен товара, автоматически заполнять эти поля, чтобы потом не делать это вручную
Для себя я уже приноровил парсинг. Делается очень просто. Парсим цену поставщика 2 раза, один раз для цены товара + наценка, второй раз для вычисления бонусов. Применяю простую математическую формулу, пример: {1|<};*1.15*0,05 (+15% наценка + вычисление бонусов 5% + округление в меньшую сторону.).

 

  В 03.05.2020 в 21:51, Rassol2 сказав:

Если и буду реализовывать то это будет уже в виде функции на вкладке редактора товаров.

Expand  

Да можно и туда, но это двойная работа, лучше сразу при парсинге добавлять.

 

  В 03.05.2020 в 21:51, Rassol2 сказав:

В данном случаи используется стандартный подход опенкарта. У вас более специфичный подход к своему товару.
В данном случаи это поле еше можно парсить а не только использовать стандартный подход.

Expand  

 

  В 03.05.2020 в 21:51, Rassol2 сказав:

Но ведь по сути вы используете тот же самый id товара только прибавляете к нему 67941
В этом я не вижу большого смысла. Допустим код товара 87651 и вы добавляете к нему 67941 и получаете уникальный 155592
Почему в таком случаи не использовать просто уникальный 87651 он такой же уникальный как и 155592
Возможно для вас лично это критически важно, но давайте взглянем на саму задачу является ли для всех пользователей интернет магазинов на опенкарте критически важным иметь model численным и обязательно отличающимся от id товара. Ну или хотя бы какому количеству пользователей это действительно важно?

Expand  

Парсить не вариант. У меня ID товаров сейчас 4х значные, поэтому приходится прибавлять до 5 знаков. У меня есть определенная специфика формирования этих кодов товаров. Первые 2е цифры обозначают код производителя, остальные 3 цифры код товара. Поэтому так заморочено. Фиг с ним, может что то сам придумаю Сейчас приходится при каждом запуске парсинге-добавлении товаров в файл лезть. Думал может какую нибудь настройку прикрутить прямо в Парсинг в ИМ.

 

  В 03.05.2020 в 21:51, Rassol2 сказав:

К примеру банально если пользователь выбирает обновить SKU и SKU является идентификатором товара, то модуль это обнаружит и не даст сделать проблему.
То же самое касается выхлопов в логи, модуль проверяет и делает сообщение в логи по поводу того спарсен не спарсен идентификатор, он пуст или не выбран.
То есть есть все обработчики этих событий. Вы их предусмотрели при внедрении этих дополнительных полей ?

Expand  

Да все работает на удивление хорошо. В логи тоже все пишется. Не исключаю, что мог что-то упустить.

2020-05-04 02:29:55| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | http://xxx/catalog/search/products/5493390
2020-05-04 02:29:55| ->Добавлена бонусы к начислению = 53 | Для групп(ы) покупателей = ,1
2020-05-04 02:29:55| ->[ОБНОВЛЕН ТОВАР] ID = 1806 | Идентификатор ean = [ETM5493390]
2020-05-04 02:29:55| -->Обновление | Бонусные баллы = 1060
2020-05-04 02:29:55| -->Обновление | Цена = 1060
2020-05-04 02:29:55| -->Обновление | Количество = 1

 

  В 03.05.2020 в 21:51, Rassol2 сказав:

PS. В остальном я тоже не силен в PHP скажем так я начал его изучать тогда когда начал писать модуль
Так что если вы смогли разобраться в этом безумстве то думаю уже поняли что я тоже далеко не профи. Но у нас есть идеи для реализаций это куда важнее.

Expand  

Код довольно хорошо написан. Зря прибедняешься. С учетом оставленных комментарий, было не сложно добавить нужный мне функционал.

 

  В 03.05.2020 в 21:51, Rassol2 сказав:

А вообще так сообщу что сейчас идет по планам.
1. Допилы редактора товаров на горячую.
2. Сбор ссылок по крону.
3. Загрузка фото описаний. (Возможно загрузка файлов типа инструкция и тд.)
4. Система проверки границ парсинга и допусков к работе с товаром. Типо указываем если граница пустая то не добавляем товар не обновляем .... Или если граница равна какому то значению.
5. переработать систему работы с ссылками, дать возможность получить список ссылок которые не были спарсены или спарсены с ошибками, и тд. Возможность перезапустить парсинг исключительно по проблемным ссылкам.
6. Автоматическая авторизация на сайте доноре, и работа этой схемы в связке с кроном.

Expand  

Отлично. Сейчас у меня за неделю накопилось идей и вопросов по реализации тех или иных задач. Буду порционно выкатывать. Вроде как нашел ошибку, проверю еще раз и отпишусь.

 

Змінено 4 травня 2020 користувачем ILexus

[Rassol2]

  В 04.05.2020 в 00:34, ILexus сказав:

Да можно и туда, но это двойная работа, лучше сразу при парсинге добавлять.

Expand  

Может и так.
Запишу это в свои задачи на реализацию. При реализации буду рассматривать как сделать удобнее.

[Rassol2]

  В 04.05.2020 в 00:34, ILexus сказав:

Парсить не вариант. У меня ID товаров сейчас 4х значные, поэтому приходится прибавлять до 5 знаков. У меня есть определенная специфика формирования этих кодов товаров. Первые 2е цифры обозначают код производителя, остальные 3 цифры код товара. Поэтому так заморочено. Фиг с ним, может что то сам придумаю Сейчас приходится при каждом запуске парсинге-добавлении товаров в файл лезть. Думал может какую нибудь настройку прикрутить прямо в Парсинг в ИМ.

Expand  

Ну тут сильно специфическая задача конкретно под ваши требования.
Так что пока я не могу предложить годное решение.

 

  В 04.05.2020 в 00:34, ILexus сказав:

Отлично. Сейчас у меня за неделю накопилось идей и вопросов по реализации тех или иных задач. Буду порционно выкатывать. Вроде как нашел ошибку, проверю еще раз и отпишусь.

Expand  

Да пишите если есть ошибка поправлю.
походу у вас будет отдельно развиваться личный форк модуля )))

[partshez]

Планы по развитию вселяют оптимизм. Все пункты ждем с нетерпением!

Кому нужна помощь в настройке, пишите мне в личку 

[Axelenz]

  В 03.05.2020 в 21:51, Rassol2 сказав:

5. переработать систему работы с ссылками, дать возможность получить список ссылок которые не были спарсены или спарсены с ошибками, и тд. Возможность перезапустить парсинг исключительно по проблемным ссылкам.

Expand  

А вот за это спасибо огромное... При парсинге десятков тысяч ссылок контроль за выполнением поставленной задачи и возможность исправления будут очень кстати.

Как вариант, как можно было бы реализовать это:

на вкладке CSV/Парсинг можно добавить ещё одну колонку, где в виде чекбоксов можно ставить галочки по типу: "Поле обязательное для заполнения". К примеру, если поставить такую галочку в строке наименования товара, артикула, цены... то понятно, где эти данные не спарсились там и есть ошибка!

Можно было бы и вынести поле типа: "По окончании парсинга повторный проход по ссылкам, где найдены ошибки". Кому критично - поставил галочку и может за вторым проходом что-то и закроется...

Я бы не рекомендовал ставить подобную процедуру автоматом, поскольку люди, которые не сильно разбираются в модуле могут его просто зациклить, указав неправильные границы парсинга...

Змінено 4 травня 2020 користувачем Axelenz

[Rassol2]

  В 04.05.2020 в 10:15, Axelenz сказав:

А вот за это спасибо огромное... При парсинге десятков тысяч ссылок контроль за выполнением поставленной задачи и возможность исправления будут очень кстати.

Expand  

пока еше не за что.
Тут такая ситуация что главная библиотека модуля уже подобралась к 10к строк и внедрения новых фич требует уже не одной недели.
Сам код реализации не сложен и концепт я уже придумал, но переработать всю схему работы модуля сейчас требует колоссальных усилий.

Когда начну внедрять эту фичу я не смогу менять другие части модуля поскольку это не позволит мне нормально все оттестировать либо тестирования будет сверх трудоемким.
Так что сейчас я делаю всю периферию с редактором товаров, кроном и все остальное, затем замораживаю модуль и начну перерезать базу связанную с ссылками. 

Кроме этого еше нужно придумать как это все выводить и сделать интуитивно понятным. Иметь просто список ссылок которые помечены как отработали с ошибкой не совсем хорошо. К примеру не будет ясно причина по которой ссылка оказалась в этом списке.
Значит в добавку к этому нужно придумать взаимодействие с списками ссылок что бы иметь хоть какое то представление оп причинах попадания ссылок в список ошибок, очищать его удалять ссылки по попавшие в список по определенным причинам.

Короче функция будет интересной.

[Axelenz]

У Вас уже есть часть отладчика в виде "Предпросмотра". Вот, как вариант, можно его вынести на отдельную вкладку, допилить его под функциональный отладчик... Там не хватает только внизу выведения сообщения об ошибке с логов и чтобы можно было подхватывать, например, не одну ссылку, а как вариант, десяток первых ссылок с файла, который будет автоматом создаваться с не правильно отработанными ссылками...

[Rassol2]

  В 04.05.2020 в 10:39, Axelenz сказав:

У Вас уже есть часть отладчика в виде "Предпросмотра". Вот, как вариант, можно его вынести на отдельную вкладку, допилить его под функциональный отладчик... Там не хватает только внизу выведения сообщения об ошибке с логов и чтобы можно было подхватывать, например, не одну ссылку, а как вариант, десяток первых ссылок с файла, который будет автоматом создаваться с не правильно отработанными ссылками...

Expand  

я это вижу по другому.
Наверное переделаю под эти нужды вкладку кеш донора.
Назову ее как то по другому
 

  Показати вміст

Будет там список ссылок и возможность смотреть не только закеширована ссылка или нет.
так же получить информацию о том битая она или нет. Очистить и ... ну короче все что связано с работой ссылок + сохранения нынешнего функционала.

А на страницах парсинга будет добавлен переключатель с выбором ссылок с которыми в данный момент вы хотите работать.

[Rassol2]

Если коротко переделать страницу с названием Кеш донора под интерфейс взаимодействия с ссылками.
Фильтровать искать ссылки удалять модифицировать, все что бы все вот это было доступно пользователям.

[Megadacha]

Добрый день, подскажите, пожалуйста! Возможно ли с Помощью вашего модуля парсить описания И характеристики товаров с одного сайта, а Цены На эти же товары с другого? Спасибо! 

[Rassol2]

  В 04.05.2020 в 14:21, Megadacha сказав:

Добрый день, подскажите, пожалуйста! Возможно ли с Помощью вашего модуля парсить описания И характеристики товаров с одного сайта, а Цены На эти же товары с другого? Спасибо! 

Expand  

Да, при условии что на этих сайтах будет одинаковый идентификатор.
Поскольку модулю нужно как то понимать и сравнивать товары с разных сайтов.

и делается это по очереди, либо через создание двух проектов для первого донора и для второго.

[Rassol2]

Обновление v3.4-2

 

Исправление мелкого недочета, нельзя было его оставлять в стабильной версии.
В некоторых ситуация когда таймаут меньше чем разница между вашим часовым поясом и Гринвичем может не отработать таймаут. Тем самым запустить выполнение крона повторно.
Вот этот

  Показати вміст

Рекомендую всем обновиться что бы не было лишних проблем.

Для вас @ILexus , да и для всех кто вносит правки в модуль, что бы вам не пришлось все переписывать укажу что поправить.

 

Разница между версиями 3.4-1 и 3.4-2 всего в одной строчке.
Что бы вы не обновляли все свои правки просто откройте файл /admin/model/catalog/simplepars.php
Найдите строку
$time_server['naw'] = time()+$main_cron['timezone'];

И после нее добавьте
$task['time_end'] = $task['time_end']+$main_cron['timezone'];

Что бы вышло вот так.
 

  Показати вміст

 

И и если сильно хочется можно еше найти строку с версией модуля в том же файле и поменять на 3.4-2

  Показати вміст

return 'v3.4-1';
Эту строку заменять на
return 'v3.4-2';

В остальном все осталось по прежнему и кто не хочет париться просто обновляем по старинке.
За найденный баг спасибо @urchik

 

PS. Кода делал сикриншоты заметил что неправильно написал now каюсь у меня с правописанием просто отвратные отношения
Но на работу это не повлияет. Хотя у себя уже поправил пока это не пошло дальше
 

[ILexus]

  В 04.05.2020 в 18:45, Rassol2 сказав:

Для вас @ILexus , да и для всех кто вносит правки в модуль, что бы вам не пришлось все переписывать укажу что поправить.

Expand  

Вносить изменения не проблема, есть же Notepad++ и плагин Compare, просто муторно. Не трать время на это в следующий раз. Я всегда могу сравнить файлы разных версий и увидеть что поменялось.

[Rassol2]

  В 04.05.2020 в 20:10, ILexus сказав:

Вносить изменения не проблема, есть же Notepad++ и плагин Compare, просто муторно. Не трать время на это в следующий раз. Я всегда могу сравнить файлы разных версий и увидеть что поменялось.

Expand  

Значит это будет для тех кому сложнее определять изменение.
Но более значимые изменения я не смогу описать, поскольку сам их не веду. Пишу тестирую правлю пишу тестирую.
В больших релизах все изменения не описать