Rassol2

19.04.2023 в 01:44, Toral сказал:

Шукаю людину яка знайома з цим модулем та може написати скрипт

Який буде перед оновленням данних, отримувати значення які вже є в полях ISBN та MPN, порівнювати їх з данними які отримав парсер та якщо вони відповідають умові оновлювати ці поля, або залишати попередні значення.

Також схожу маніпуляцію потрібно зробити з ціною товару.

Распишите подробнее что должен делать скрипт с данными полями
ISBN та MPN
и ценой.

Что было бы более интересно ?
1) Добавить в модуль функцию загрузки прайс листов на базе CSV ?
2) Написать дополнение для парсера, которое позволит парсить сайты с JS но это дополнение будет запускается на вашем персональном компьютере.

В первом случаи преимущества.
Скорость реализации. Я тут не говорю про недели. И наверное даже не пару месяцев но все же. 

Второй вариант.
Десктопный парсер. Он будет работать в тандеме с SimplePars но так же может быть использован как полноценный десктопный парсер.

Это позволит парсить сайты на JS так как для своей работы будет использовать браузер. В таком случаи можно будет организовать больше обходов блокировки, так как десктопный парсер способен пройти капчу получить страницу и отдать ее SimplePars то есть уже не модуль обращается к донору а ваш комп, и после получения кода отдает код модулю на обработку.


Что было бы интереснее увидеть ?

@Toral Пожалуйста прячьте скриншоты под спойлер, это повышает читаемость.

13.04.2023 в 08:39, Toral сказал:

Ще підкажіть будь ласка, це через не вірний шаблон?

почему из за неверного шаблона ?
У вас в шаблоне написано добавлять ссылки в которых есть.
page_
В ссылке есть это
per-page_48

Получается наоборот, это происходит так как настройки шаблонов соответствуют ссылкам.

13.04.2023 в 05:41, Toral сказал:

Приїхали?  Я так роумію авторизація пройшла успішно, якщо це все відобразилос

Скорее нет чем да.
Вышло авторизоватся или нет проверяется по коду страницы, а судя по скриншоту у вас там код js и не страницы.
Так что скорее всего нет, вы не авторизовались.

11.04.2023 в 05:42, Sadvox сказал:

 

файл доступен после авторизации, если зайти на страницу /admin авторизоваться и потом перейти на ссылку генерации фида. НО какой метод авторизации использовать? Как бы оба не подходят, как мне кажется:(

Не уверен что в админку опенкарта можно зайти через обычную авторизацию.
Для админки используется дополнительный механизм в виде токена.
Тут я не подскажу, вроде как токен нужен только для ссылок с админки, но для других страни нет.
Но может формирование кук и отдача происходит уже после захода на страницу с токино. Тут не подскажу.

11.04.2023 в 05:27, Sadvox сказал:

Подскажите, пожалуйста, если сайт донора на опенкарт в состоянии "Режим обслуживания", а сам xml формируется на лету по ссылке, его можно спарсить?

Здравствуйте.

Да можно спасрить xml если он доступен по ссылке.

11.04.2023 в 05:27, Sadvox сказал:

То есть по факту любая страница отдается с надписью "Магазин временно закрыт... и тд" и страница генерации прайса в том числе, пробовал настроить авторизацию, логины, пароли - все есть, но пока безуспешно. Может что посоветуете?:)

То есть по ссылке файл недоступен, значит и спарсить его нельзя.
Если он доступен после авторизации тогда пробуйте слетать авторизацию. Тут другого не подскажу.
 

10.04.2023 в 07:33, pgplamen сказал:

Привет, simplepars будет ли это работать PHP 8?

Здравствуйте.
Не проверял но думаю нет, там слишком много изменений.
Так же насколько я помню сам опенкарт поддерживает версию php 8 только с версии opencart 4 , мой не адаптирован под данную версию.

10.04.2023 в 02:43, maxleshiy сказал:

Не знаю баг или это только у меня когда в контактах нажимаю на менеджера  то открывается страница https://telegram.org/ и все (((

Ну думаю так не должно быть, можете дать доступ к админке и фтп в личку, и я проверю.

10.04.2023 в 02:43, maxleshiy сказал:

И еще у меня показывает в настройках модуля что время на сайте 7 утра хотя по факту уже 10. Где можно поменять время? 

В последней версии модуля указано время из php переменной date возвращает текущие системное время.
Такое может быть если сервер стоит в Германии, а вы к примеру в Киеве. И сервер настроен на локальное время для немцев.
И вот уже php отдает вам время сервера которое опаздывает от вашего. Это можно исправить дописав систему часовых поясов, но как по мне это не настолько острый вопрос что бы решать его сейчас. Но я о нем помню.
Если для всех это большая боль пишите поменяю приоритет на эту задачу.

Обновление v0.13_alpha

Доработка меню категорий для многомерных вложенность.
Просьба оттестировать и отписаться.

Так же я в описании убрал текст по поводу пожертвования Украине, а точнее оставлю пометку в конце описания.
Хочу сразу зафиксировать, все деньги будут по прежнему жертвоваться Украине. И буду фиксировать отчеты как и ранние.

Цель этого изменения это смешения фокуса с поддержки Украины на продукт и его актуальность.

09.04.2023 в 06:49, zaleha сказал:

Добрый день! А меню со вложениями категорий более 3-х откладывается?

нет, уже готов релиз. Хочу спать, после попробую сформировать и выложить.
Пока откладывается функция которая после выбора категории автоматом закрывает блок категорий.
 

08.04.2023 в 11:11, blyskavka сказал:

Побажання додати маркетингові фішки в розсилку автоматично. Наприклад, зробили акцію на товар, клієнтам меседж у нас знижка. Інформування про нові товари. Тобто зробили рух якийсь в магазині, автоматично і в розсилку. Ну або галочки за яким тригером і з яким текстом - новинки, акціїї, знижки...

Я выбираю другой путь, никаких авто сообщений не будет. Любая рассылка заранее должна быть составлена и запланирована вами.

Структура будет такова, в финальной версии.

1) Создаем любое сообщение.
2) фильтруем клиентов (если нужно)
3) Определяем событие.
4) Создаем задание.

5) Модуль автоматически выполняет рассылку по запланированному графику.

Под каждым из этих пунктов подразумевается тонна работы и функционала. Но это в итоге должно быть сформирована возможность делать как маркетинговые рассылки так и любые другие.
Детали этого всего не обсуждаем так как еше рано. Это если мы говорим конкретно по этой функции.
 

Кратно о том что сейчас делаю.
Сейчас я хочу организовать некий стек для рассылки. И систему создания шаблонов.
Допустим вы можете составить шаблон который будет отлавливать пользователей которые пришли в ваш бот три дня назад и не сделали никакой заказ, и не добавили ничего в корзину. Дальше у вас есть шаблоны где вы настраивает текст который нужно отправить такому пользователю.
Включаете такой шаблон, и модуль будет сам искать пользователей подходящих под данные параметры, составлять запрос и класть его в очередь.
Дальше у вас будет настроен крон на выполнение раз в секунду.
А крон будет уже постепенно брать сообщения из стека и рассылать.

Систему с стеком хочу организовать так как в телеграмм нельзя рассылать больше 30 писем в секунду, если хотите больше то нужно что то покупать у телеграмма.
Это не наш путь, мы просто будем составлять все запросы записывать их в список а модуль будет сам рассылать их с нужными таймингами, по 29 сообщений в секунду.


Так же организуем рассылку в определенные часы, а то не стоит наших любимых клиентов беспокоить в час ночи когда им нужно хорошенько выспаться перед тем как заняться покупками в нашем магазине.

Вот над проектированием этой системы рассылок я сейчас работаю. Но тем временем могу переодически что то подделывать по мелочи в модуле и выкладывать. Так что пишите в ветке модуля интересные идеи, будем спросить и искать уникальный путь )

Сейчас работаю над системой которая позволит делать шаблоны для рассылки писем. Это занимает много времени, по этому можете накидывать промежуточные хотелки буду реализовывать по возможности.

07.04.2023 в 05:11, romka7070 сказал:

Для

Донор вивантажує xml через модуль UniXML

 

Донор переделал систему выгрузки файла, теперь для этого нужно использовать js он поддерживается браузерами. Модуль не может такое.
Как вариант открыть через браузера и потом скопировать куки в настройки модуля.
 

06.04.2023 в 09:18, Yuriy160589 сказал:

Оно и так и так выполняется. Дело не во времени. Время стоит с запасом

Ну тогда ишите. Как по мне это вопрос времени тут один в один симптомы.
 

06.04.2023 в 09:21, Yuriy160589 сказал:

У меня при сборе ссылок какое то огромное количество id? это потому что он их заново перезаписывает?

не он, а вы судя по тому что вы писали раньше.
У модуля при сборе ссылок, и по крону и вручную ссылки не перезаписываются они до записываются.

06.04.2023 в 09:12, Yuriy160589 сказал:

А подскажите пожалуйста как сделать чтобы модуль дозаписывал ссылки, а не записывал их заново?
А то у меня походу он их постоянно заново записывает

При сборе ссылок он дозаписывает ссылки.

06.04.2023 в 09:14, Yuriy160589 сказал:

Нет. Он выполняет 2 задание из 5, а в 3 и 4 задании уже 80% выполнено, хотя он еще до них не дошел

Смотрите количество выделенного времени.
Отключите все задание оставьте одно укажите выполнятся целый день и все выполнится. Это вопрос с настройками времени.

06.04.2023 в 09:07, Yuriy160589 сказал:

В том то и дело, они не останавливаются. Они сразу почему то начинают работу с 80% выполненными

Вот и ответ.
100% не хватает времени.
Вот у вас 100 000 ссылок нужно пропарсить.
Вы указали выполнять эту работу только с 5 утра до 6 утра.
За это время модуль успел выполнить 50 000 и остановился, так как выделенное время на эту задачу закончилось.
На следующий день пришло время опять для этого задания, модуль продолжает с того места где закончил.

Было бы больше времени или меньше ссылок он бы закончил работу в указанный период.

06.04.2023 в 09:06, Yuriy160589 сказал:

Перезапись ссылок в любом случае происходит каждый раз. Даже без удаления. Или это нельзя делать?

Перезапись ссылок идет только тогда когда вы это выбрали, в остальных случаях модуль до записывает новые если таковые появляются при сборе ссылок.

@Yuriy160589 Это я к тому что проверяйте достаточно ли времени, посмотрите в котором часу последняя ссылка закончилась. Все это есть в логах.
Искать ошибку можете в логе опенкарта если там будет ошибка в файле simplepars пишите посмотрю.

06.04.2023 в 09:02, Yuriy160589 сказал:

Я в этом ничего не понимаю. По кругу они не ходят. Они останавливаются и потом начинаются заново в назначенное время по очереди, но почему то задания которые идут 3-5 по очереди они сразу уже выполнены на 80% становятся. Я не знаю как объяснить и что нужно пробовать, потому что не понимаю в этом.

Они могут остановиться только в том случаи если не хватает выделенного времени на задание.
Либо ошибка. Других причин остановки быть не может.

06.04.2023 в 03:34, Yuriy160589 сказал:

Да, перед сбором ссылок можно.
Задача в том, что все настроил через крон. Все вроде четко и правильно когда проверяю включая крон вручную, но когда начинает работать крон самостоятельно, почему то не переносятся ссылки в другой проект и почему то в этом проекте уже выполнено 80% ссылок, хотя проект еще не запустился, и обработка ссылок может идти не один день.
Но когда я вручную удаляю все ссылки из проекта, и снова запускаю крон, то все работает как нужно. Не знаю почему так, поэтому хочу попробовать удалять ссылки перед началом задания.

Сложно описать данную проблему, но вариант автоматического удаления ссылок в начале задания меня устраивает. Нужно попробовать. Все хорошо, все четко, но вот почему то когда ссылки уже есть в задании, они не обновляются.

Подскажите пожалуйста как настроить данную функцию? Версия SimplePars v4.9-4_beta

Мне кажется что вам нужно очень внимательно изучить логи после выполнения задания модулем.
Я не думаю что перезапись ссылок делает процесс работы быстрее, что то тут не так, изучите что логи что может у вас задагния по кругу хотят и вам кажется что они только на 80% выполнились.

Сама перезапись ссылок в базу данных наоборот лишние операции по созданию записей и ключей к ним. Я конечно не спец по хранениям данных в mysql  но мне кажется это только сложнаят все.

06.04.2023 в 05:55, yurok79 сказал:

Просто непонятно как тогда загружать фиды с опциями ( Если есть альтернативный вариант подскажите пожалуйста

Я незнаю других модулей.
 

05.04.2023 в 15:47, Yuriy160589 сказал:

Здравствуйте.
Подскажите пожалуйста, можно ли настроить чтобы после выполнения задания по крону удалялись ссылки из "Очередь сканирования ссылок" и "Ссылки на товары"?

Здравствуйте.
Для начала пожайлуста прячте скришоты под спойлер, это облегчает читаемость ветки.
Я отписуюсь с телефона в 80% случаев.

Не совсем понятно задача.
Если после сбора удалять ссылки то зачем их собирать ?
Если после парсинга в им, то как потом проводить отладку ?

Сейчас есть встроенная фунция удалять ссылки перед сбором ссылок, как мне кажется это логичный путь.
Обьясните вашу задачу более подробно.

05.04.2023 в 14:42, yurok79 сказал:

Здравствуйте, есть вопрос (пожелание) к автору. Не планируете ли вы минимальный функционал кацапского НРМ прикрутить к своему модулю? Меня в частности интересует связывание товаров с разными значениями опций в один товар через например параметр от Прома group_id. Очень сильно облегчило бы работу. НРМ сейчас купить очень трудно, да и не хочется работать с расеянами от слова совсем. 

Подобный функционал есть в uni xml но там все очень сыро и криво (бета). Хотелось бы увидеть такой функционал у вас.

Востребовано каждым 2-м моим клиентом.

Нет не планирую.

Я удавное уже не слежу что там с HPM , так что если когда то что то перестанет работать я могу только вырезать ту возможность из модуля.

Сам писать ничего аналогичного не собираюсь, это должен сделать кто то другой. Если будет востребованная альтернатива тогда интегрируем.