[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

23.05.2025 в 15:26, Yoda сказал:

Могу сделать ветер и минимум х3 к этой скорости. В личку.

Спасибо за предложение но сейчас я не занимаюсь пока что развитием модуля.
Но если кто то хочет из клиентов вперед, то конечно вперед, поделитесь потом результатом.

От себя добавлю.
Больше 80% времени тратится на получения ответа от донора. И меньше 20% это какие то процессы по разбору данных и записи в базу и так далее.

[Yoda]

23.05.2025 в 23:32, Rassol2 сказал:

Спасибо за предложение но сейчас я не занимаюсь пока что развитием модуля.
Но если кто то хочет из клиентов вперед, то конечно вперед, поделитесь потом результатом.

От себя добавлю.
Больше 80% времени тратится на получения ответа от донора. И меньше 20% это какие то процессы по разбору данных и записи в базу и так далее.

Это не научные цифры. К сожалению.

Кризис экспертизы зашкаливает.

[evilinex]

Доброго времени суток!

Подскажите, пожалуйста, как можно выбрать последнее или нужное значение?

- если выбираю пропускать вхождения больше чем 1 то там где одна категория пропадают значения
- выводятся в повторяющейся границе
- например есть xml в котором разное количество категорий у товаров, может быть 1, а может быть и 4
 

    <categories>

      <category>

        <category_ru>Посуд</category_ru>

        <category_en>Home</category_en>

        <category_ua>Посуд</category_ua>

      </category>

      <category>

        <category_ru>Керамічні горнятка</category_ru>

        <category_en>Ceramic mugs and sets</category_en>

        <category_ua>Керамічні горнятка</category_ua>

      </category>

      <category>

        <category_ua>Coffee 2 Go</category_ua>

        <category_ru>Coffee 2 Go</category_ru>

        <category_en>Coffee 2 Go</category_en>

      </category>

    </categories>

[evilinex]

https://www.youtube.com/watch?v=MKYKctvGJ-o

с конца 0-1

хороша мысля приходит опосля благодарю за внимание сори

[heagar]

Всем привет, такой вопрос:

 

Я закачиваю и обновляю товары на сайт через XML-файлы. Но дело в том, что XML-файлы меняются (не все, но какая-то часть удаляется, какая то появляется). Нужно чтобы во вкладку «Очередь сканирования ссылок» каждый раз при новом цикле закачивались актуальные XML-файлы, которые лежат в папке «parser/XML_files» на сервере в автоматическом режиме.

Как это сделать лучше всего?

 

Мне тут GPT подсказыват вставить в поле «Очередь сканирования ссылок» https://yourdomain.com/parser/list-xml.php, а в list-xml.php зафигачить а в php зафигачить скрипт, который будет забирать все файлы из нужной папки и формировать к ним путь. Только мне кажется что скрипт не смогёт понять что там ещё внутри php будет разворачиваться…

Как можно решить эту задачу просто и изящно подскажите пожалуйста?

[Rassol2]

18.06.2025 в 09:59, heagar сказал:

Всем привет, такой вопрос:

 

Я закачиваю и обновляю товары на сайт через XML-файлы. Но дело в том, что XML-файлы меняются (не все, но какая-то часть удаляется, какая то появляется). Нужно чтобы во вкладку «Очередь сканирования ссылок» каждый раз при новом цикле закачивались актуальные XML-файлы, которые лежат в папке «parser/XML_files» на сервере в автоматическом режиме.

Как это сделать лучше всего?

 

Мне тут GPT подсказыват вставить в поле «Очередь сканирования ссылок» https://yourdomain.com/parser/list-xml.php, а в list-xml.php зафигачить а в php зафигачить скрипт, который будет забирать все файлы из нужной папки и формировать к ним путь. Только мне кажется что скрипт не смогёт понять что там ещё внутри php будет разворачиваться…

Как можно решить эту задачу просто и изящно подскажите пожалуйста?

Записывайте ссылки в XML_files в формате xml далее в модуле выбирите парсить ссылки с xml, и укажите ссылку на этот файл. 
и вот у вам уже в очереди все доступные ссылки с данного файла. 

[heagar]

18.06.2025 в 22:36, Rassol2 сказал:

Записывайте ссылки в XML_files в формате xml далее в модуле выбирите парсить ссылки с xml, и укажите ссылку на этот файл. 
и вот у вам уже в очереди все доступные ссылки с данного файла. 

 

Уточните пожалуйста, имеется ввиду метод "С sitemap XML"?

Скрытый текст

 

1. Создаю XML-файл, в котором будут собираться ссылки на актуальные XML-файлы, например - yourdomain.com/parser/list-links.xml

 

Внутри него(отдельно созданным скриптом) будут записываться ссылки на новые актуальные XML-файлы в конце каждого цикла(работы АПИ-скрипта) в следующем виде:

yourdomain.com/parser/category1.xml

yourdomain.com/parser/category2.xml

yourdomain.com/parser/categoryN.xml

 

2. В SimplePars во вкладке СБОР ССЫЛОК меняю метод на "С sitemap XML" и в поле "Очередь сканирования ссылок" вставляю - yourdomain.com/parser/list-links.xml

 

Так?

(У меня сейчас работает АПИ-скрипт, которые в папке yourdomain.com/parser/ создаёт XML файлы, типа - category1.xml, category2.xml и т.д. Только сейчас приходиться ссылки на эти файлы в ручную создавать. Хочется чтобы автоматом залетали в поле "Очередь сканирования ссылок")

 

 

 

Змінено 18 червня 2025 користувачем heagar

[partshez]

19.06.2025 в 01:47, heagar сказал:

 

Уточните пожалуйста, имеется ввиду метод "С sitemap XML"?

  Скрыть содержимое

2. В SimplePars во вкладке СБОР ССЫЛОК меняю метод на "С sitemap XML" и в поле "Очередь сканирования ссылок" вставляю - yourdomain.com/parser/list-links.xml

 

 

 

Здравствуйте. Создаете проект. В Ссылках на товар получаете ссылки на нужные xml

 

19.06.2025 в 01:47, heagar сказал:

yourdomain.com/parser/category1.xml

yourdomain.com/parser/category2.xml

yourdomain.com/parser/categoryN.xml

Создаете второй проект. Например, Парсинг в CSV. Но поля не заполняете, а только указываете работу скрипта по переносу ссылок. Переносите **Ссылки на товар** второго проекта в третий проект в **Очередь сканирования**  https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?page=470#comment-1798978

Третьим проектом выполняете нужные действия. 

Создаете задания крон, учитывая очередность выполнения

 

 

[3DO]

20.08.2021 в 23:29, Rassol2 сказал:

ВНИМАНИЕ!!!

Уважаемый @Rassol2, можно Вас попросить, если найдётся свободное время перезалить скрины, они более не доступны.
Спасибо!

[partshez]

25.06.2025 в 16:51, 3DO сказал:

Уважаемый @Rassol2, можно Вас попросить, если найдётся свободное время перезалить скрины, они более не доступны.
Спасибо!

У меня все скрины с этой страницы открываются корректно. Очистите кеш браузера, попробуйте открыть в другом браузере или на другом компе, телефоне

[Rassol2]

25.06.2025 в 08:51, 3DO сказал:

Уважаемый @Rassol2, можно Вас попросить, если найдётся свободное время перезалить скрины, они более не доступны.
Спасибо!

Тоже проверил все скрины на месте. 

[3DO]

26.06.2025 в 00:24, partshez сказал:

У меня все скрины с этой страницы открываются корректно. Очистите кеш браузера, попробуйте открыть в другом браузере или на другом компе, телефоне

 

26.06.2025 в 00:48, Rassol2 сказал:

Тоже проверил все скрины на месте. 

 

Спасибо всем за реакцию, проблема решена, установился каким то образом в браузер какой то левый блокировщик рекламы.
Вместо фото, были какие то маленькие иконки.

[partshez]

Всем привет. Нужно написать скрипт. Есть сайт, портал. Авторизоваться, получить куки, записать эти куки в проект Симплпарс. Кто может выполнить на платной основе? Пишите в личку.

Змінено 28 червня 2025 користувачем partshez

[partshez]

28.06.2025 в 14:29, partshez сказал:

Всем привет. Нужно написать скрипт. 

Вопрос закрыт. Помогли спецы-программисты

[partshez]

Нужна помощь. Не могу сообразить, как это сделать. Настроить запуск на хостинге - не вариант. 

Сейчас мы имеем возможность использовать скрипты в таких случаях. А мне необходимо выполнить скрипт Перед запуском Обработчика xml. Т.е. выполнен скрипт один раз, Симплпарс получил необходимую информацию. Далее обработал один файл xml. Т.е. скрипт должен отработать только один раз, а не 20 тыс раз при обработке каждой ссылки.     https://prnt.sc/NhdBQL6Jx5n0

1. Перед отправкой ссылки на парсинг - В данном случае модуль достанет из базы ссылку которую нужно спарсить, и перед тем как отправить запрос на парсинг этой ссылки, вы можете выполнить свой скрипт.
2. Перед Парсинг в ИМ - После того как модуль произведет поиск замену, подготовит все данные, и перед тем как начнется выполнятся добавления или обновления товара, вы сможете использовать свой скрипт.
3. После Парсинга в ИМ - После того как модуль загрузит или обновит товар.
4. Перед Парсинг в CSV - После того как будет выполнен поиск замена всех границ парсинга, будут составлены данные для записи в CSV и перед тем как произведется запись, вы можете выполнить свой скрипт.
5. После Парсинг в CSV - После того как модуль запишет составленные данные в CSV.   

Змінено 5 липня 2025 користувачем partshez

[Rassol2]

05.07.2025 в 01:57, partshez сказал:

Нужна помощь. Не могу сообразить, как это сделать. Настроить запуск на хостинге - не вариант. 

Сейчас мы имеем возможность использовать скрипты в таких случаях. А мне необходимо выполнить скрипт Перед запуском Обработчика xml. Т.е. выполнен скрипт один раз, Симплпарс получил необходимую информацию. Далее обработал один файл xml. Т.е. скрипт должен отработать только один раз, а не 20 тыс раз при обработке каждой ссылки.     https://prnt.sc/NhdBQL6Jx5n0

1. Перед отправкой ссылки на парсинг - В данном случае модуль достанет из базы ссылку которую нужно спарсить, и перед тем как отправить запрос на парсинг этой ссылки, вы можете выполнить свой скрипт.
2. Перед Парсинг в ИМ - После того как модуль произведет поиск замену, подготовит все данные, и перед тем как начнется выполнятся добавления или обновления товара, вы сможете использовать свой скрипт.
3. После Парсинга в ИМ - После того как модуль загрузит или обновит товар.
4. Перед Парсинг в CSV - После того как будет выполнен поиск замена всех границ парсинга, будут составлены данные для записи в CSV и перед тем как произведется запись, вы можете выполнить свой скрипт.
5. После Парсинг в CSV - После того как модуль запишет составленные данные в CSV.   

Да сейчас нет такой возможности.
Только как вариант создать фейковое задание пустое, которое ничего не будет делать, допустим парсинг в им, с одной ссылкой в никуда.
И запускать это задание перел разбором xml. И в этом задание запускать ваш скрипт. 

[partshez]

05.07.2025 в 16:48, Rassol2 сказал:

Только как вариант создать фейковое задание пустое, которое ничего не будет делать, допустим парсинг в им, с одной ссылкой в никуда.
И запускать это задание перел разбором xml. И в этом задание запускать ваш скрипт. 

Каким образом? Сейчас в задании старые ссылки после Обработчика. Их удалить? Можно. Но как автоматически записать вместо этих ссылок пустую ссылку в никуда? Только вручную? Тогда теряется смысл работы по крон... Пока не могу найти решение. 

[Rassol2]

05.07.2025 в 11:03, partshez сказал:

Каким образом? Сейчас в задании старые ссылки после Обработчика. Их удалить? Можно. Но как автоматически записать вместо этих ссылок пустую ссылку в никуда? Только вручную? Тогда теряется смысл работы по крон... Пока не могу найти решение. 

Создаете проект. Кладете одну ссылку на любой сайт без настроек никаких. Выбираете выполнять скрипт перед парсингом. Этой ссылки в этом проекте. 
 

далее ставите выполнять проект в 12 часов. по крон. С высоким приоритетом. 
и ставите на это же время свое задание нарезки xml. 
и вот перед нарезкой у вас будет выполняться задание пустышка которое дернет один раз скрипт. 

[partshez]

05.07.2025 в 19:08, Rassol2 сказал:

Создаете проект. Кладете одну ссылку на любой сайт без настроек никаких. Выбираете выполнять скрипт перед парсингом. Этой ссылки в этом проекте. 

Завтра ручками удалить ссылки после вчерашнего Обработчика и записать левую ссылку? 

И так каждый день? Ручками?

Змінено 5 липня 2025 користувачем partshez

[Rassol2]

05.07.2025 в 11:17, partshez сказал:

Завтра ручками удалить ссылки после вчерашнего Обработчика и записать левую ссылку? 

И так каждый день? Ручками?

2 проекта. 
1) фейковый что бы дернуть скрипт. 
2) ваш который режит xml.  
 

ничего не нужно делать ручками. Вариант решения вашего вопроса я вам дал. Пробуйте. 
 

[partshez]

Еще вопрос. Чем пункт 1 отличается от пунктов 2 и 4?

[partshez]

05.07.2025 в 19:22, Rassol2 сказал:

2 проекта. 
1) фейковый что бы дернуть скрипт. 
2) ваш который режит xml.  
 

ничего не нужно делать ручками. Вариант решения вашего вопроса я вам дал. Пробуйте. 
 

Не подходит. Срипт получает с донора куки после авторизации и записывает их в проект. Т.е. в первом проекте эти куки не нужны. 

Змінено 5 липня 2025 користувачем partshez

[Rassol2]

05.07.2025 в 11:23, partshez сказал:

Еще вопрос. Чем пункт 1 отличается от пунктов 2 и 4?

1) очевидно же сперва выполняется скрипт потом идет обрашение к донору.

2) Спасили данные с донора и перед тем как писать что то в ИМ выполняем скрипт.
4) Спасили данные с донора и перед тем как писать что то в CSV выполняем скрипт.

[Rassol2]

05.07.2025 в 11:24, partshez сказал:

Не подходит. Срипт получает с донора куки после авторизации и записывает их в проект. Т.е. в первом проекте эти куки не нужны. 

То есть вы можете написать скрипт который получает куки и пишит их в проект через скрипт, но указать в скрипте нужный ID проекта куда это все нужно писать вы не можете ? 
 

[partshez]

05.07.2025 в 19:30, Rassol2 сказал:

То есть вы можете написать скрипт который получает куки и пишит их в проект через скрипт, но указать в скрипте нужный ID проекта куда это все нужно писать вы не можете ? 
 

Я не умею писать скрипт. Но мысль я понял. Спасибо. Задам вопрос программисту

И скрипт посмотрю. Может быть там прописан id нужного проекта

Змінено 5 липня 2025 користувачем partshez