[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

03.04.2023 в 13:02, Lucider105 сказал:

Здравствуйте, думаю насчёт покупки парсера и в видео не увидел чтобы можно было спарсить разметку которая отображается, на клик по тексту то есть по скрипту. Можно ли сделать так ?

Здравствуйте.
не всегда данные подгружаются динамически. Если при загрузке страницы эти данные есть в коде, и они показываются при клике, то такое можно спарсить.
Если при клике донор делает под запрос и получает данные сетки, то нет такие данные неспарсить.

[Rassol2]

03.04.2023 в 13:12, Holy_moly сказал:

Вот так реально сделать с таким модулем ? 

Не хочу выкинуть деньги на ветер

В момент париснга нет.
В момент парсинга товара у него будет написана категория в карточке товара. И в эту категорию можно положить товар.
Но разместить товар в момент париснга в двух и больше параллельных категориях нельзя.

Это можно сделать через встроенный редактор товаров вручную, после париснга.

[Holy_moly]

03.04.2023 в 21:44, Rassol2 сказал:

В момент париснга нет.
В момент парсинга товара у него будет написана категория в карточке товара. И в эту категорию можно положить товар.
Но разместить товар в момент париснга в двух и больше параллельных категориях нельзя.

Это можно сделать через встроенный редактор товаров вручную, после париснга.

 

Думаю что для сайта который как я хочу это очень долгий процес, хочу сделать большой магазин и если для каждого товара буду вручную вводить будет очень долго. 

Как то это нельзя обойти ?) 

Модуль вроде бы подходит, но этот момент сильно болючий. 

У вас там есть вкладка скрипты, нельзя добится функционала через скрипты ?

[partshez]

03.04.2023 в 21:44, Rassol2 сказал:

Это можно сделать через встроенный редактор товаров вручную, после париснга.

Добавлю. Одновременно создать шаблон и добавить его в задание крон. Т.е. один раз занимаемся фильтрацией нужных товаров и размещением их в нескольких категориях. В дальнейшем все работает на автомате.

[Rassol2]

03.04.2023 в 13:57, Holy_moly сказал:

 

Думаю что для сайта который как я хочу это очень долгий процес, хочу сделать большой магазин и если для каждого товара буду вручную вводить будет очень долго. 

Как то это нельзя обойти ?) 

Модуль вроде бы подходит, но этот момент сильно болючий. 

У вас там есть вкладка скрипты, нельзя добится функционала через скрипты ?

Нельзя обойти. 
потому что в коде товара наводящего есть вывод сразу всех веток категорий в которой присутствует товар. 
 

а неимевший эту информацию в коде товара нельзя заполнить все и сразу. 
 

модуль стремится облегчить наполнение магазина. Но нужно понимать он не делает все под ключ, всегда есть что то что требует правок и задача модуля сократить количество такой работы. 
 

[Holy_moly]

04.04.2023 в 10:35, Rassol2 сказал:

Нельзя обойти. 
потому что в коде товара наводящего есть вывод сразу всех веток категорий в которой присутствует товар. 
 

а неимевший эту информацию в коде товара нельзя заполнить все и сразу. 
 

модуль стремится облегчить наполнение магазина. Но нужно понимать он не делает все под ключ, всегда есть что то что требует правок и задача модуля сократить количество такой работы. 
 

Ясно, спасибо за подробности )

[Malciska]

Ребята, может кто имел опыт настройки работы парса через NORD VPN ?

[Malciska]

Подскажите пожалуйста (в личку) где купить хорошие рабочие прокси для работы с парсером.

[Toral]

Добрий вечір, чи можливо за допомогою скриптів якось реалізувати порівняння кількості залишків  однакового товару у різних постачальників?
Наприклад:
Є кастомна комірка "Кількість товару у  Постачальника"
Запускаємо перший проєкт - Парсимо туди кількість постачальника №1 - записуємо в комірку
Другий проєкт - Парсимо кількість у постачальника №2 порівнюємо з кільістю в комірці, якщо більше записуємо в комірку нове значення.

Третій проєкт - те саме.

 

Ще є ньюанс з закупівельними цінами, але хочаб це реалізувати вже

Є проблема, якщо у всіх постачальників кількість зменшиться то комірка не перезапишеться, можливо при першому запуску парсингу в кроні обнуляти кільксть в комірці?
Ну і якщо це реально, враховуючи що оновлювати залишки потрібно в реальному часі або хочаб з не великим інтвервалом до 30хв як це вплине на сайт ?

 

В подальшому комірку кількості постачальника потрібно буде використовувати для зміни статусів наявності товару

[Rassol2]

05.04.2023 в 13:00, Toral сказал:

Добрий вечір, чи можливо за допомогою скриптів якось реалізувати порівняння кількості залишків  однакового товару у різних постачальників?
Наприклад:
Є кастомна комірка "Кількість товару у  Постачальника"
Запускаємо перший проєкт - Парсимо туди кількість постачальника №1 - записуємо в комірку
Другий проєкт - Парсимо кількість у постачальника №2 порівнюємо з кільістю в комірці, якщо більше записуємо в комірку нове значення.

Третій проєкт - те саме.

 

Ще є ньюанс з закупівельними цінами, але хочаб це реалізувати вже

Є проблема, якщо у всіх постачальників кількість зменшиться то комірка не перезапишеться, можливо при першому запуску парсингу в кроні обнуляти кільксть в комірці?
Ну і якщо це реально, враховуючи що оновлювати залишки потрібно в реальному часі або хочаб з не великим інтвервалом до 30хв як це вплине на сайт ?

 

В подальшому комірку кількості постачальника потрібно буде використовувати для зміни статусів наявності товару

Здравствуйте.
Да это все возможно сделать.
Я не знаю сколько у вас товаров но обновление раз в 30 минут звучит как наполеоновские планы.
Если это не xml то парсинг одной страницы в среднем где то между одной и двумя секундами.

Если донор хороший, то может секунда и ниже. Но я всегда делаю рассчет на 2 секунды на ссылку. И вот берете все ваши ссылки умножаете на 2 сек. Ну и смотрите сколько времени нужно на проход.

 

[Toral]

В 05.04.2023 в 21:58, Rassol2 сказав:

Здравствуйте.
Да это все возможно сделать.
Я не знаю сколько у вас товаров но обновление раз в 30 минут звучит как наполеоновские планы.
Если это не xml то парсинг одной страницы в среднем где то между одной и двумя секундами.

Если донор хороший, то может секунда и ниже. Но я всегда делаю рассчет на 2 секунды на ссылку. И вот берете все ваши ссылки умножаете на 2 сек. Ну и смотрите сколько времени нужно на проход.

 

Дякую, тоді продовжу копати в цьому напрямку і думати над алгортимом.

Апі та більшість всеж xml файли, які ще треба придумати як автоматично завнтажувати.

[yurok79]

Здравствуйте, есть вопрос (пожелание) к автору. Не планируете ли вы минимальный функционал кацапского НРМ прикрутить к своему модулю? Меня в частности интересует связывание товаров с разными значениями опций в один товар через например параметр от Прома group_id. Очень сильно облегчило бы работу. НРМ сейчас купить очень трудно, да и не хочется работать с расеянами от слова совсем. 

Подобный функционал есть в uni xml но там все очень сыро и криво (бета). Хотелось бы увидеть такой функционал у вас.

Востребовано каждым 2-м моим клиентом.

[Yuriy160589]

Здравствуйте.
Подскажите пожалуйста, можно ли настроить чтобы после выполнения задания по крону удалялись ссылки из "Очередь сканирования ссылок" и "Ссылки на товары"?


 

Например способом как здесь: 

[Rassol2]

05.04.2023 в 14:42, yurok79 сказал:

Здравствуйте, есть вопрос (пожелание) к автору. Не планируете ли вы минимальный функционал кацапского НРМ прикрутить к своему модулю? Меня в частности интересует связывание товаров с разными значениями опций в один товар через например параметр от Прома group_id. Очень сильно облегчило бы работу. НРМ сейчас купить очень трудно, да и не хочется работать с расеянами от слова совсем. 

Подобный функционал есть в uni xml но там все очень сыро и криво (бета). Хотелось бы увидеть такой функционал у вас.

Востребовано каждым 2-м моим клиентом.

Нет не планирую.

Я удавное уже не слежу что там с HPM , так что если когда то что то перестанет работать я могу только вырезать ту возможность из модуля.

Сам писать ничего аналогичного не собираюсь, это должен сделать кто то другой. Если будет востребованная альтернатива тогда интегрируем.

[Rassol2]

05.04.2023 в 15:47, Yuriy160589 сказал:

Здравствуйте.
Подскажите пожалуйста, можно ли настроить чтобы после выполнения задания по крону удалялись ссылки из "Очередь сканирования ссылок" и "Ссылки на товары"?

Здравствуйте.
Для начала пожайлуста прячте скришоты под спойлер, это облегчает читаемость ветки.
Я отписуюсь с телефона в 80% случаев.

Не совсем понятно задача.
Если после сбора удалять ссылки то зачем их собирать ?
Если после парсинга в им, то как потом проводить отладку ?

Сейчас есть встроенная фунция удалять ссылки перед сбором ссылок, как мне кажется это логичный путь.
Обьясните вашу задачу более подробно.

[Yuriy160589]

06.04.2023 в 09:58, Rassol2 сказал:

Сейчас есть встроенная фунция удалять ссылки перед сбором ссылок, как мне кажется это логичный путь.
Обьясните вашу задачу более подробно.

Да, перед сбором ссылок можно.
Задача в том, что все настроил через крон. Все вроде четко и правильно когда проверяю включая крон вручную, но когда начинает работать крон самостоятельно, почему то не переносятся ссылки в другой проект и почему то в этом проекте уже выполнено 80% ссылок, хотя проект еще не запустился, и обработка ссылок может идти не один день.
Но когда я вручную удаляю все ссылки из проекта, и снова запускаю крон, то все работает как нужно. Не знаю почему так, поэтому хочу попробовать удалять ссылки перед началом задания.

Сложно описать данную проблему, но вариант автоматического удаления ссылок в начале задания меня устраивает. Нужно попробовать. Все хорошо, все четко, но вот почему то когда ссылки уже есть в задании, они не обновляются.

Подскажите пожалуйста как настроить данную функцию? Версия SimplePars v4.9-4_beta

Змінено 6 квітня 2023 користувачем Yuriy160589

[yurok79]

06.04.2023 в 09:53, Rassol2 сказал:

Нет не планирую.

Я удавное уже не слежу что там с HPM , так что если когда то что то перестанет работать я могу только вырезать ту возможность из модуля.

Сам писать ничего аналогичного не собираюсь, это должен сделать кто то другой. Если будет востребованная альтернатива тогда интегрируем.

Просто непонятно как тогда загружать фиды с опциями ( Если есть альтернативный вариант подскажите пожалуйста

Змінено 6 квітня 2023 користувачем yurok79

[Rassol2]

06.04.2023 в 05:55, yurok79 сказал:

Просто непонятно как тогда загружать фиды с опциями ( Если есть альтернативный вариант подскажите пожалуйста

Я незнаю других модулей.
 

[Rassol2]

06.04.2023 в 03:34, Yuriy160589 сказал:

Да, перед сбором ссылок можно.
Задача в том, что все настроил через крон. Все вроде четко и правильно когда проверяю включая крон вручную, но когда начинает работать крон самостоятельно, почему то не переносятся ссылки в другой проект и почему то в этом проекте уже выполнено 80% ссылок, хотя проект еще не запустился, и обработка ссылок может идти не один день.
Но когда я вручную удаляю все ссылки из проекта, и снова запускаю крон, то все работает как нужно. Не знаю почему так, поэтому хочу попробовать удалять ссылки перед началом задания.

Сложно описать данную проблему, но вариант автоматического удаления ссылок в начале задания меня устраивает. Нужно попробовать. Все хорошо, все четко, но вот почему то когда ссылки уже есть в задании, они не обновляются.

Подскажите пожалуйста как настроить данную функцию? Версия SimplePars v4.9-4_beta

Мне кажется что вам нужно очень внимательно изучить логи после выполнения задания модулем.
Я не думаю что перезапись ссылок делает процесс работы быстрее, что то тут не так, изучите что логи что может у вас задагния по кругу хотят и вам кажется что они только на 80% выполнились.

Сама перезапись ссылок в базу данных наоборот лишние операции по созданию записей и ключей к ним. Я конечно не спец по хранениям данных в mysql  но мне кажется это только сложнаят все.

[partshez]

06.04.2023 в 13:55, yurok79 сказал:

Просто непонятно как тогда загружать фиды с опциями ( Если есть альтернативный вариант подскажите пожалуйста

Посмотрите АОП

[Yuriy160589]

06.04.2023 в 14:39, Rassol2 сказал:

Мне кажется что вам нужно очень внимательно изучить логи после выполнения задания модулем.
Я не думаю что перезапись ссылок делает процесс работы быстрее, что то тут не так, изучите что логи что может у вас задагния по кругу хотят и вам кажется что они только на 80% выполнились.

Сама перезапись ссылок в базу данных наоборот лишние операции по созданию записей и ключей к ним. Я конечно не спец по хранениям данных в mysql  но мне кажется это только сложнаят все.

Я в этом ничего не понимаю. По кругу они не ходят. Они останавливаются и потом начинаются заново в назначенное время по очереди, но почему то задания которые идут 3-5 по очереди они сразу уже выполнены на 80% становятся. Я не знаю как объяснить и что нужно пробовать, потому что не понимаю в этом.

[Rassol2]

06.04.2023 в 09:02, Yuriy160589 сказал:

Я в этом ничего не понимаю. По кругу они не ходят. Они останавливаются и потом начинаются заново в назначенное время по очереди, но почему то задания которые идут 3-5 по очереди они сразу уже выполнены на 80% становятся. Я не знаю как объяснить и что нужно пробовать, потому что не понимаю в этом.

Они могут остановиться только в том случаи если не хватает выделенного времени на задание.
Либо ошибка. Других причин остановки быть не может.

[Yuriy160589]

06.04.2023 в 17:02, Yuriy160589 сказал:

Я не думаю что перезапись ссылок делает процесс работы быстрее, что то тут не так

Перезапись ссылок в любом случае происходит каждый раз. Даже без удаления. Или это нельзя делать?

[Rassol2]

@Yuriy160589 Это я к тому что проверяйте достаточно ли времени, посмотрите в котором часу последняя ссылка закончилась. Все это есть в логах.
Искать ошибку можете в логе опенкарта если там будет ошибка в файле simplepars пишите посмотрю.

[Yuriy160589]

06.04.2023 в 17:05, Rassol2 сказал:

Они могут остановиться только в том случаи если не хватает выделенного времени на задание.
Либо ошибка. Других причин остановки быть не может.

В том то и дело, они не останавливаются. Они сразу почему то начинают работу с 80% выполненными