[Поддержка] SimplePars - Универсальный парсер для ИМ

[ILexus]

По поводу ошибки. При парсинге и добавлении товара на сайт, не заполняется поле date_modified в oc_product. Получаются нули 0000-00-00 00:00:00

При формирование стандартного sitemap попадают тоже нули и получается что то типа этого <lastmod>-0001-11-30T00:00:00+02:30</lastmod> на что ругаются гугл и яндекс мол неверное значение тега lastmod. Необходимо добавить date_modified = NOW(), в секцию sql главного запроса на добавление товара.

[RuslanLight]

Доброго времени суток!
Появилась проблемка с кроном.
Настроенный ранее крон работал, но потом был выключен на пару дней, на время настроек парсера. что бы сам не запускался.
После включение он перестал работать - сам не заупскается.
Поддержка хостинга ответила что "скрипт sp_cron.php отказывается продолжать работу после его вызова. Запуск отменен, крон предпологает что один из процессов не завершен."(c)

 

С самим кроном никаких манипуляций не проводилось кроме ВКЛ/ВЫКЛ (большая зеленая кнопка).
В проекте который запускает крон добавились только ссылки для парсинга.
Подскажите пожалуйста что это может быть за проблема?

 

[Rassol2]

2 минуты назад, RuslanLight сказал:

Подскажите пожалуйста что это может быть за проблема?

Обновите, в бете была проблема с блокировкой потоков в стабильной версии это исправленно. 
Когда крон работает и вы жмете отключить. В этот момент модуль убивает процесс. Но не меняет значения на разрешение запустить новый. 

Обновите до последней версии и проблемы не будет. 

[ILexus]

Есть ли возможность в редакторе товаров помимо изменения цены, так же произвести округление, по аналогии с полем наценка при парсинге?

 

[Rassol2]

51 минуту назад, ILexus сказал:

По поводу ошибки. При парсинге и добавлении товара на сайт, не заполняется поле date_modified в oc_product. Получаются нули 0000-00-00 00:00:00

При формирование стандартного sitemap попадают тоже нули и получается что то типа этого <lastmod>-0001-11-30T00:00:00+02:30</lastmod> на что ругаются гугл и яндекс мол неверное значение тега lastmod. Необходимо добавить date_modified = NOW(), в секцию sql главного запроса на добавление товара.

Да сделаю.
Будет уже в следующей бете.

[Rassol2]

53 минуты назад, ILexus сказал:

Есть ли возможность в редакторе товаров помимо изменения цены, так же произвести округление, по аналогии с полем наценка при парсинге?

 

а тоже подумаю как сделать, и занесу в следующую бета.
Но правда так гибко как в поле наценки не получится наверное.

Поскольку тут для работы с ценой я использую один запрос в базу. То есть нету запроса на получения цены модификацию и запись.
В этой функции, модуль напрямую запросом изменяет цену.
 

$sql = "UPDATE `".DB_PREFIX."product` SET price = price ".$data['operator'].$data['value']." WHERE product_id IN (".$prs_id.")";

А как в таких условиях сделать разные варианты наценки это уже сложнее.
А делать изменение цены через выборку я бы не хотел, поскольку в этом случаи лишний раз получать данные из базы крутить затем делать запросы на запись.
А если в выборке по 10к товаров.
Может для начала сделать округление до двух знаков после запятой.

А вообще кто использует округления, какие параметры округления пользуются спросом ?

[xshader]

Из-за чего при сборе ссылок с донора может быть ошибка 2020-05-05 07:43:03| Парсинг : НЕИЗВЕСТНЫЙ ОТВЕТ  | Ответ сервера не распознан. Код ответа [403] Ссылка | https://astrohn.ru/shop/

Да и не только сборе ссылок, в принципе через парсер ответ донора всегда 403

[Rassol2]

8 минут назад, xshader сказал:

Из-за чего при сборе ссылок с донора может быть ошибка 2020-05-05 07:43:03| Парсинг : НЕИЗВЕСТНЫЙ ОТВЕТ  | Ответ сервера не распознан. Код ответа [403] Ссылка | https://astrohn.ru/shop/

Да и не только сборе ссылок, в принципе через парсер ответ донора всегда 403

чаше всего из за бана.
403 - доступ запрещен.
 

[partshez]

11 минут назад, xshader сказал:

Из-за чего при сборе ссылок с донора может быть ошибка 2020-05-05 07:43:03| Парсинг : НЕИЗВЕСТНЫЙ ОТВЕТ  | Ответ сервера не распознан. Код ответа [403] Ссылка | https://astrohn.ru/shop/

Да и не только сборе ссылок, в принципе через парсер ответ донора всегда 403

Попробовать прокси

[Rassol2]

15 часов назад, ILexus сказал:

По поводу ошибки. При парсинге и добавлении товара на сайт, не заполняется поле date_modified в oc_product. Получаются нули 0000-00-00 00:00:00

При формирование стандартного sitemap попадают тоже нули и получается что то типа этого <lastmod>-0001-11-30T00:00:00+02:30</lastmod> на что ругаются гугл и яндекс мол неверное значение тега lastmod. Необходимо добавить date_modified = NOW(), в секцию sql главного запроса на добавление товара.

Это не баг.
Только что создал товар в магазине вручную через стандартные редактор товаров и при создании товар получил значение поля date_modified как 0000-00-00 00:00:00
Так что это стандартное поведение опенкарта.

Особых проблем не вижу в том что бы модуль при парсинге и создании товара указывал значение поля date_modified как текущая дата.
По этому эту хотелку заношу в модуль.

Внимание пользователи которым нужен другой подход, к примеру те кто цепляется к значению 0000-00-00 00:00:00 поля date_modified , просьба отписаться.

Если таковые будут тогда оставлю логику создания товара такой как есть в стандартном движке.
Уточнение, вопрос стоит только про заполнения поля в ново спарсенных товарах.

Так как при обновлении модуль заполнит это значение датой, когда вы обновили его.

[faza78]

А как настроить двойную цену? Повторяющимися границами парсинга этого не сделать.

 

Если спарсить обычными границами, то куда воткнуть вторую цену? Может необходима возможность добавления второй цены?

 

[Rassol2]

2 минуты назад, faza78 сказал:

А как настроить двойную цену? Повторяющимися границами парсинга этого не сделать.

Здравствуйте.

Как указать наценку указано здесь.
https://simplepars.top/index.php?page=note&note_id=4
Двойная наценка указывается как два правила наценки разделенные символом & об этом тоже написано можете ознакомится.
Это работает как в одинарной границе парсинга так и в повторяющейся.

 

3 минуты назад, faza78 сказал:

Если спарсить обычными границами, то куда воткнуть вторую цену? Может необходима возможность добавления второй цены?

А разве в опенкарте есть вторая цена ?
Вы можете сделать сколько угодно границ парсингга в этом модуль вас не ограничивает. Но вопрос куда их все воткнуть понятное дело останется поскольку есть стандартные данные самого движка опенкарт. и в данном случаи цена в опенкарта одна.
 

Спойлер

 

[poetiq]

16 часов назад, Rassol2 сказал:

А вообще кто использует округления, какие параметры округления пользуются спросом ?

Здравствуйте.

До целого числа.

[Rassol2]

1 минуту назад, poetiq сказал:

Здравствуйте.

До целого числа.

Спасибо что отозвались.
Это было просто.

Нужно еше информации, меня интересует использует ли кто то округление до хитрых значений по типу
кратное 5 или кратное 0.35
Или кому нужно округление до одной цифры после нуля, или трех четырех цифр после нуля.

Так как речь идет про цену это может интересовать людей которые используют модуль с другими валютами.
Белоруски рубль.
Казахстанский тенге
Израильский шекель
Ну евро доллар.

Одним словом где другой вес валюты.

[Rassol2]

Добавил в инструкцию описание вкладки Редактор товаров
https://simplepars.top/index.php?page=note&note_id=30

Обратите внимание что в инструкции больше доступных действий чем сейчас в 3.4-2
Инструкцию писал сегодня и по этому там присутствуют элементы которые будут доступны в следующей бете.
Так что пожалуйста не пишите что у вас чего то нету
Все появится в следующей бете.

[ILexus]

8 часов назад, Rassol2 сказал:

Это не баг.
Только что создал товар в магазине вручную через стандартные редактор товаров и при создании товар получил значение поля date_modified как 0000-00-00 00:00:00
Так что это стандартное поведение опенкарта.

Особых проблем не вижу в том что бы модуль при парсинге и создании товара указывал значение поля date_modified как текущая дата.
По этому эту хотелку заношу в модуль.

Внимание пользователи которым нужен другой подход, к примеру те кто цепляется к значению 0000-00-00 00:00:00 поля date_modified , просьба отписаться.

Если таковые будут тогда оставлю логику создания товара такой как есть в стандартном движке.
Уточнение, вопрос стоит только про заполнения поля в ново спарсенных товарах.

Так как при обновлении модуль заполнит это значение датой, когда вы обновили его.

https://opencartforum.com/topic/102992-oshibka-sitemap-roditelskiy-teg-url-teg-lastmod-znachenie-0001-11-30/

Оказывается это проблема существует давно, проблема в самом движке. Странно, что до парсинга с ней не сталкивался. По сути лучше добавить, хуже не будет.

 

22 часа назад, Rassol2 сказал:

А вообще кто использует округления, какие параметры округления пользуются спросом ?

Использую округление до целого числа. Но бывают мелкие товары, преимущественно стоимость которых до 10 руб, использую до десятых.

Змінено 5 травня 2020 користувачем ILexus

[Rassol2]

18 минут назад, ILexus сказал:

https://opencartforum.com/topic/102992-oshibka-sitemap-roditelskiy-teg-url-teg-lastmod-znachenie-0001-11-30/

Оказывается это проблема существует давно, проблема в самом движке. Странно, что до парсинга с ней не сталкивался. По сути лучше добавить, хуже не будет.

Да добавлено.
 

 

18 минут назад, ILexus сказал:

Использую округление до целого числа. Но бывают мелкие товары, преимущественно стоимость которых до 10 руб, использую до десятых.

по вопросу округления пока ничего не буду говорить нужно подумать, если выйдет сделать мение затратное действие по ресурсам сделаю.

[partshez]

15 часов назад, faza78 сказал:

А как настроить двойную цену? Повторяющимися границами парсинга этого не сделать.

 

Если спарсить обычными границами, то куда воткнуть вторую цену? Может необходима возможность добавления второй цены?

 

В этом случае подход другой. Цену указываем за 1 кв.м. Указываем количество кв.м. в упаковке, как количество (границу). Устанавливаем модуль продажи кратного количества товара. Решаем вопрос показа количества не целым числом. В упаковке указываем 1,37 кв.м... 2.15 кв.м... И продаем упаковками.

Тогда на странице товара имеем примерно то, что Вы хотите. 

Цена за упаковку будет указана в корзине и в заказе.

 

 

Змінено 6 травня 2020 користувачем partshez

[bodyak0]

Привет гуру!Как победить эту ошибку?)

 

1. НЕУДАЧНЫЙ ЗАПРОС!!!
2. Номер ошибки = 35
3. Текст ошибки = gnutls_handshake() failed: A TLS fatal alert has been received.
4. Ссылка = https://electro-skuter.ru/catalog/aksessuary-dlya-ehlektrosamokatov-
5. Больше информации можно получить в логах модуля SimplePars

[Rassol2]

3 минуты назад, bodyak0 сказал:

Привет гуру!Как победить эту ошибку?)

 

1. НЕУДАЧНЫЙ ЗАПРОС!!!
2. Номер ошибки = 35
3. Текст ошибки = gnutls_handshake() failed: A TLS fatal alert has been received.
4. Ссылка = https://electro-skuter.ru/catalog/aksessuary-dlya-ehlektrosamokatov-
5. Больше информации можно получить в логах модуля SimplePars

такого ответа от кург я еше не встречал. Нужно время что бы разобраться.

[partshez]

19 минут назад, bodyak0 сказал:

Привет гуру!Как победить эту ошибку?)

 

1. НЕУДАЧНЫЙ ЗАПРОС!!!
2. Номер ошибки = 35
3. Текст ошибки = gnutls_handshake() failed: A TLS fatal alert has been received.
4. Ссылка = https://electro-skuter.ru/catalog/aksessuary-dlya-ehlektrosamokatov-
5. Больше информации можно получить в логах модуля SimplePars

Отлично парсится    https://electro-skuter.ru/item/3674-chekhol-dlya-ehlektrosamokatov-cherno-krasnyjj-razmer-s

https://prnt.sc/sc18du

И ссылки прекрасно собираются   https://prnt.sc/sc1cex

Змінено 6 травня 2020 користувачем partshez

[Rassol2]

8 минут назад, bodyak0 сказал:

Привет гуру!Как победить эту ошибку?)

 

1. НЕУДАЧНЫЙ ЗАПРОС!!!
2. Номер ошибки = 35
3. Текст ошибки = gnutls_handshake() failed: A TLS fatal alert has been received.
4. Ссылка = https://electro-skuter.ru/catalog/aksessuary-dlya-ehlektrosamokatov-
5. Больше информации можно получить в логах модуля SimplePars

Собственно вопрос, у вас хостинг ? или локальный сервер ?
Как я понял ошибка с сертификатом но в модуле проставлены все настройки что бы игнорировать сертификаты.

Интересно это на хостинге или в локалке ?

[bodyak0]

1 годину назад, Rassol2 сказав:

Собственно вопрос, у вас хостинг ? или локальный сервер ?
Как я понял ошибка с сертификатом но в модуле проставлены все настройки что бы игнорировать сертификаты.

Интересно это на хостинге или в локалке ?

локалка  на хостинге

Змінено 6 травня 2020 користувачем bodyak0

[Rassol2]

1 минуту назад, bodyak0 сказал:

локалка

я отошел на час полтора, после напишу что попробовать.
Есть 2 библиотеки для проверки сертификатов и их нужно переключить.

[Rassol2]

@bodyak0 Попробуйте для начала включить в модуле проверку сертификатор.
Может это самый простой путь будет.

/admin/model/catalog/simplepars.php

найти строки
curl_setopt($curl_array[$i], CURLOPT_SSL_VERIFYPEER, FALSE);
curl_setopt($curl_array[$i], CURLOPT_SSL_VERIFYHOST, FALSE);   

И заменить на

curl_setopt($curl_array[$i], CURLOPT_SSL_VERIFYPEER, TRUE);
curl_setopt($curl_array[$i], CURLOPT_SSL_VERIFYHOST, TRUE);