[Поддержка] SimplePars - Универсальный парсер для ИМ

[Toral]

Добрий день.
В чергу сканування не попадають ссилки в яких налаштовані фільтри по товару які задані на сайті, хтось таке вирішував?
В стартовій силці вставлені фільтри по виробнику, а попадають всі товари які є на сайті (
Стартова силка :https://b2b.ceramamarket.com/plutka#/azteca,azulejos-benadresa,cer-rol,cerama-market,cristacer,ecoceramic,porcelanosa-m3891,3889,3887,3865,3915,4112,4049/sort=p.sort_order/order=ASC/limit=16

Черга сканування виглядає так.

Прихований текст

На сайті коли наводиш курсор на наступну сторіку в принципі те саме, але коли переходиш то ссилка стає така я в стартова.
 

Прихований текст

 

[Rassol2]

21.11.2023 в 05:42, Toral сказал:

В стартовій силці вставлені фільтри по виробнику, а попадають всі товари які є на сайті (

Вы не показали настройки фильтра товаров, ибо именно они определяют какие ссылки будут добавлены а какие нет.

 

[Toral]

В 21.11.2023 в 14:10, Rassol2 сказав:

Вы не показали настройки фильтра товаров, ибо именно они определяют какие ссылки будут добавлены а какие нет.

 

Відфілтрувати ссилки в принципі можу, але тоді мені кожну назву вводити, а це 1000+ назв. Бо назви виробника в силці товару немає

Модуль

Прихований текст

Сайт
 

Прихований текст

 

Змінено 21 листопада 2023 користувачем Toral

[Rassol2]

21.11.2023 в 06:39, Toral сказал:

Відфілтрувати ссилки в принципі можу, але тоді мені кожну назву вводити, а це 1000+ назв. Бо назви виробника в силці товару немає

Модуль

Модуль берет ссылку на товар, сканирует ее и берет все ссылки из страницы. Все.
Затем сравнивает их с фильтрами ссылок на товар, и те ссылки что соответствуют фильтрам попадут в очередь.
А те что не попадут будут отсеены.
Так вот, если фильтры не установлены то все ссылки попадают. И без фильтров все ссылки будут попадать что есть на страницы, и без настройки фильтров никак.

[Toral]

В 21.11.2023 в 20:58, Rassol2 сказав:

Модуль берет ссылку на товар, сканирует ее и берет все ссылки из страницы. Все.
Затем сравнивает их с фильтрами ссылок на товар, и те ссылки что соответствуют фильтрам попадут в очередь.
А те что не попадут будут отсеены.
Так вот, если фильтры не установлены то все ссылки попадают. И без фильтров все ссылки будут попадать что есть на страницы, и без настройки фильтров никак.

Не ну на інших сайтах працювало . В стартовій ссилці були тільки потрібні товари відфільтровані на самому сайті  постачальника. А тут якась чудасія, текст фільтрів з посиланнь пропадає(
 

Ех буде весело зараз 1300 назв добавляти в фільтр 

Змінено 21 листопада 2023 користувачем Toral

[Rassol2]

21.11.2023 в 13:29, Toral сказал:

Не ну на інших сайтах працювало . В стартовій ссилці були тільки потрібні товари відфільтровані на самому сайті  постачальника. А тут якась чудасія.
 

Ех буде весело зараз 1300 назв добавляти в фільтр 

Выше я вам описал логику, то как производится фильтрация ссылок, не смотря на доноры. Именно технически как это работает.
Если на каком то сайте после парсинга ссылки очереди, вы на странице есть только ссылки на товар, то вам не нужны фильиры. Но если там есть и ссылки не другие части сайта, то вам нужны фильтры.
Модуль сам по себе не знает какую ссылку вам нужно добавлять в очередь а какую нет. И именно фильтры вот эти.
 

Скрытый текст

Вот эти фильтры объясняют модулю что вы желаете видеть в очереди а что нет.
По другому никак.

[partshez]

Всем привет! Есть проект. Сейчас выставлено только Добавлять. Позднее нужно обновить только товары, созданные этим проектом. Ранее существующие товары не обновлять. Как это сделать? Предположим, в Ссылках на товар 500 ссылок. Добавлены данным проектом 100 товаров. Нужно обновить только эти 100 товаров. Отфильтровать на момент сбора ссылок не получится. Т.е. нужен Список ссылок на  товар, добавленный данным проектом.

Змінено 27 листопада 2023 користувачем partshez

[Rassol2]

27.11.2023 в 07:50, partshez сказал:

Всем привет! Есть проект. Сейчас выставлено только Добавлять. Позднее нужно обновить только товары, созданные этим проектом. Ранее существующие товары не обновлять. Как это сделать? Предположим, в Ссылках на товар 500 ссылок. Добавлены данным проектом 100 товаров. Нужно обновить только эти 100 товаров. Отфильтровать на момент сбора ссылок не получится. 

при создании нужно было указать приставку к артикулу.
Или к примеру в sku записать просто артикул, а в mpn записать вот так pr1-{gran_1}
и к артикулу добавилась приставка pr1- И записалась в поле mpn

Затем при необходимости можно просто выбрарть поле mpn как идентификатор и действие обновить.
как то так.

[partshez]

27.11.2023 в 15:53, Rassol2 сказал:

при создании нужно было указать приставку к артикулу.
Или к примеру в sku записать просто артикул, а в mpn записать вот так pr1-{gran_1}
и к артикулу добавилась приставка pr1- И записалась в поле mpn

Затем при необходимости можно просто выбрарть поле mpn как идентификатор и действие обновить.
как то так.

Как все просто! Не додумался. Спасибо!

[Axelenz]

Добрый день@Rassol2

А можно добавить в Редактор товара, в Действие задержку начала выполнения задания в интервале 1-60 мин, например ?

Т.е. чтобы в cron в Дополнительные действия. [Редактор товаров] я мог прописать следующее задание:

Задержка на 5 минут | Перед началом выполнения задания

 

Вопрос: А зачем это нужно, если можно настроить конкретно по часам выполнение задания ?

Ответ: Есть варианты, когда клиентам дают выгрузки xml/yml которые обновляются по определённым часам. например в 9, 13. 18...

Вот часто клиенты заказывают именно синхронизацию данных своих и поставщика, чтобы не через час получать их, а сразу после формирования выгрузки у поставщика.

Если я пропишу cron у клиента на 09:00, то какие данные я получу ? Те, которые были выгружены, до 9-ти часового обновления?

Т.е. "свежие" данные мне необходимо парсить не в 09:00, а например в 09:05 или 09:10... именно после того, как будет сформирована обновлённая выгрузка, на что требуется время...

 

Ну или подскажите, как мне затормозить выполнение cron в указанное время, не используя скрипты ?

[Vetlucky777]

Добрый день! 

подскажите как можно сделать чтоб обновление было не раз в час, а например раз в 30 минут? уменьшить таймаут.

так понимаю только скриптами, кто уже так делал напиши)

[Axelenz]

01.12.2023 в 14:25, Vetlucky777 сказал:

сделать чтоб обновление было не раз в час, а например раз в 30 минут?

Вот как раз мой пост выше и об этом тоже...

Если реализовать то, что я написал, тогда указываете запуск в одно и то же время проектов. Только во втором случае делаете 30 мин. задержку и тогда это вполне реализуемо...

Ждём, что скажет сам разработчик...

 

Как примитивный вариант: можно конечно нагрузить модуль выполнением какой-то не нужной работы, на которую будет потрачено те же полчаса, а потом следующее по порядку задание будет выполняться реально нужное, но... вариант так себе... нагружать хостинг выполнением задания, которое служит лишь для задержки (

Змінено 1 грудня 2023 користувачем Axelenz

[Rassol2]

01.12.2023 в 06:25, Vetlucky777 сказал:

Добрый день! 

подскажите как можно сделать чтоб обновление было не раз в час, а например раз в 30 минут? уменьшить таймаут.

так понимаю только скриптами, кто уже так делал напиши)

Указываете выполнятся постоянно, то есть все звездочки.
И указываете таймаут 30 миинут.

Да это можно так организовать. Не представляю зачем это нужно но можно.

[Rassol2]

01.12.2023 в 06:51, Axelenz сказал:

Вот как раз мой пост выше и об этом тоже...

Если реализовать то, что я написал, тогда указываете запуск в одно и то же время проектов. Только во втором случае делаете 30 мин. задержку и тогда это вполне реализуемо...

Ждём, что скажет сам разработчик...

 

Как примитивный вариант: можно конечно нагрузить модуль выполнением какой-то не нужной работы, на которую будет потрачено те же полчаса, а потом следующее по порядку задание будет выполняться реально нужное, но... вариант так себе... нагружать хостинг выполнением задания, которое служит лишь для задержки (

Ваш вариант годен.
Это редкий кейс, так что вариант с таймаутом самое то.

[Rassol2]

01.12.2023 в 06:12, Axelenz сказал:

Добрый день@Rassol2

А можно добавить в Редактор товара, в Действие задержку начала выполнения задания в интервале 1-60 мин, например ?

Т.е. чтобы в cron в Дополнительные действия. [Редактор товаров] я мог прописать следующее задание:

Задержка на 5 минут | Перед началом выполнения задания

Нет такое нельзя сделать.
Но можете написать свой скрипт на php и запускать его через крон. А этот скрипт что бы дергал орининальный /sp_cron.php
И в той прокладке между кроном и хостингом можете указать любые алгоритмы. Но из коробки нет такой возможности.

[Rassol2]

01.12.2023 в 06:12, Axelenz сказал:

Вопрос: А зачем это нужно, если можно настроить конкретно по часам выполнение задания ?

Ответ: Есть варианты, когда клиентам дают выгрузки xml/yml которые обновляются по определённым часам. например в 9, 13. 18...

Вот часто клиенты заказывают именно синхронизацию данных своих и поставщика, чтобы не через час получать их, а сразу после формирования выгрузки у поставщика.

Что мешает сделать разные задания крона на хостинге ?
Что бы хостинг начал дергать скрипт только с 8часов и 5минут . А другое задание дергает скрипт во все времена кроме этого.

И вот вам деление.
не забывайте что есть два измерения, крон на хостинге и в модуле.
Только не запутайтесь.

[Rassol2]

@Axelenz Привожу пример.
задать выполенение скрипта в кроне каждую минуту. с 00.00 до 8 устра.
Второе задание с 8 часов 5 минут до 10 к примеру.
Третье задание с 10.00 до 00.00

И вот уже между первым и третим заданием у вас есть второе, которое можно стартовать в любом алгоритме. Хоть с 8.30 минут. До 10.00 и вот вам уже 30 минут простоя.

[Axelenz]

01.12.2023 в 15:08, Rassol2 сказал:

Что мешает сделать разные задания крона на хостинге ?
Что бы хостинг начал дергать скрипт только с 8часов и 5минут . А другое задание дергает скрипт во все времена кроме этого.

Можно, но сам вариант мне не нравится...

Я бы тогда пошёл методом формирования задержки без всяких сложностей и нагрузок на хостинг, без скриптов и пр.:

Сделать проект-заглушку. который будет парсить ссылку со своего же сайта с Паузой, например 18000 секунд (полчаса) или какое необходимо.

Т.е. указывается выполнение двух проектов в одно и то же время, первым проектом "заглушка" идёт, которая просто тормозит выполнение главного проекта, который выполняется по порядку после неё...

 

Змінено 1 грудня 2023 користувачем Axelenz

[Rassol2]

01.12.2023 в 07:12, Axelenz сказал:

Можно, но сам вариант мне не нравится...

Я бы тогда пошёл методом формирования задержки без всяких сложностей и нагрузок на хостинг, без скриптов и пр.:

Сделать проект-заглушку. который будет парсить ссылку со своего же сайта с задержкой, например 18000 секунд (полчаса) или какое необходимо. 

Интересно получается, вам не нравится настроить 2 задания за 5 минут, но вы не против что бы я пот такой редкий кейс переписал всю логику крона.
Вам не кажется это немного эгоистично ?

По поводу задания пустышки, конечно же нет. Зачем делать что то что будет потреблять ресурсы в холостую, ради чего ?
Может луче эти ресурсы оставить для того что бы сайт был боле отзывчив, или клиенту не нужно было в перспективе раньше переходить на другой тариф.
Это нерационально.

Я вам дал 2 варианта.
1) через дополнительные задания крона на хостинге, тут можно использовать все варианты настроек крона хостинга.
2) написать скрипт вызывая который, он будет вызывать крон модуля. И между этих вызовов записать логику, любую вплоть до - Запусти если температура на улице -5

Ну а дальше все зависит от того насколько это вам нужно, если это вам нужно вы это сделаете, а если не сильно важно, то и мне нет смысла переворачивать все с ног на голову ради этого. Когда наберется зоопарк с десятками клиентов кто такие прослоек разных наделают, тогда можно разговаривать про внедрение, так как это важно, а сейчас ....

[Rassol2]

Сейчас пишу крон другого модуля, там пытаюсь учесть ошибки проектирования крона в simplepars возможно потом перенесу новый стандарт и в этот модуль.
Если он окажется более удачным. Но правда там и специфика другая. Но пока решение есть они описаны выше.

[Axelenz]

01.12.2023 в 15:18, Rassol2 сказал:

Интересно получается, вам не нравится настроить 2 задания за 5 минут, но вы не против что бы я пот такой редкий кейс переписал всю логику крона.
Вам не кажется это немного эгоистично ?

Не вдаваясь в подробности, прочтите внимательнее начало моего сообщения:

А можно...

[Rassol2]

01.12.2023 в 06:12, Axelenz сказал:

Если я пропишу cron у клиента на 09:00, то какие данные я получу ? Те, которые были выгружены, до 9-ти часового обновления?

Т.е. "свежие" данные мне необходимо парсить не в 09:00, а например в 09:05 или 09:10... именно после того, как будет сформирована обновлённая выгрузка, на что требуется время...

 

Ну или подскажите, как мне затормозить выполнение cron в указанное время, не используя скрипты ?

Если вы установите задание вот так.
1) нарезать xml на товары в 9/00
2) старт парсинга товаров в 9/00
И у первого задания будет приоретет выше. То уже в 9 часов вы получите то что вам нужно.

Сперва модуль возмет выгрузку в 9.00 и нарежет ее. А затем начнет грузить в магазин.
Если выгрузка появляется в 9.05 , то ипользуйте теже настройки, но на хостинге можете указать.

6-59 * * * * команда_для_выполнения

И в таком варианте, у вас одна команда, только модуль будет работать постоянно, но пропуская первые 5 минут каждого часа.
Решение с одной командой в кроне. 

[Rassol2]

01.12.2023 в 07:28, Axelenz сказал:

Не вдаваясь в подробности, прочтите внимательнее начало моего сообщения:

А можно...

Вот вам еше на вентилятор так сказать.
 

* 0-8,10-12,14-17,19-23 * * * команда_для_выполнения
6-59 9,13,18 * * * команда_для_выполнения

Первое задание будет дергать модуль каждую минуту во все часы кроме 9, 13 и 18 часов.
Вторая строка указывает, что задание будет выполняться каждую минуту начиная с 6-й и до 59-й минуты в 9, 13 и 18 часов.

 

И вот мы уже ваше задание оптимизировали к двум сторокам крона на хостинге.
Все что нужно.

[pawana]

Доброго дня.
 

Підкажіть, будь ласка, як можна витягнути ссилку з тексту сторінки:
Після сканування сайту є певна кількість посилань на сторінки товарів. В тексті цих сторінок є ссилки (внутрішні, без повного шляху), що мені потрібні,
От в такому вигляді: <option value="d-tr-g/195">40 g</option>. От саме "d-tr-g/195" і є внутрішньою ссилкою, яку мені треба отримати, додати до неї саме посилання на сайт і додати в список товарів, які треба завантажити в магазин.

Змінено 2 грудня 2023 користувачем pawana

[partshez]

02.12.2023 в 14:53, pawana сказал:

Доброго дня.
 

Підкажіть, будь ласка, як можна витягнути ссилку з тексту сторінки:
Після сканування сайту є певна кількість посилань на сторінки товарів. В тексті цих сторінок є ссилки (внутрішні, без повного шляху), що мені потрібні,
От в такому вигляді: <option value="d-tr-g/195">40 g</option>. От саме "d-tr-g/195" і є внутрішньою ссилкою, яку мені треба отримати, додати до неї саме посилання на сайт і додати в список товарів, які треба завантажити в магазин.

Правилами замены. Примерно так  https://prnt.sc/iGefWtEoQyqJ          https://prnt.sc/WK3S3BLVBbFQ      https://prnt.sc/bB9qtE_6zQi-

Змінено 2 грудня 2023 користувачем partshez