[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

22.12.2023 в 01:45, kJlukOo сказал:

какой же это подкол. на самом деле я не знаю его отношения к ситуации. поэтому это на уровне догадки

Прочтеш на почте ответ.

[Rassol2]

@Vetlucky777 @kJlukOo @partshez
Бизнес предложение, коль говорят что я не хочу адаптацию под отечественный модуль, я с этим не согласен в корне. Но что сказано то сказно.
У меня предожение.

Вот инструкция php скриптам.

https://simplepars.top/index.php?page=notes&tag_id=34

Я вам @kJlukOo  предоставляю бесплатно модуль лицензию.
Вы пишите скрипт который будет будет выполнять работу с вашим модулем.

Скрипт должен иметь на вход несколько параметров.
 

1) тип действия. Значение может быть 0,1,2,3 - в зависимости от значений будет действия.
0 - игнорировать работы с данным алгоритмом.
1 - Только добавлять товары в связь.
2 - Только обновлдять
3 - Обновлять и добавлять.

 

2) После с которых будет браться строка, вот эти поля.

Скрытый текст

Строку будет вида.
0001,002,003,004,005
Каждое значение это идентификатор.

3) Выбор идентификатора. С чем сравнивать каждое значение которое взято из строки в поле два.
Идентификатором товара могут выступать следующие поля.
 

Скрытый текст

Если вы считаете что я просто не хочу внедрять отечественные разработки, то вот мое предложение.
Вы пишите такой скрипт.
Который будет брать на вход указанные данные, дальше строить связи по логике вашего модуля, (тут вам виднее уже)
Дальше пользователи которые заинтересованы вместе со мной тестируем, если все работает то в следующем обновлении я внедряю адаптацию под ваш модуль.

Добавляю сюда ваш модуль.
 

Скрытый текст

При необходимости ссылку на ваше инструкцию или ваши контакты если пожелаете.


Если вы считаете что я не готов внедрять и проблема во мне, тогда пожалуйста покажите пример, напишите скрипт который я потом преобразую в стандарту логику модуля.

Я думаю это хорошее решение и которое устроит всех.

[kJlukOo]

22.12.2023 в 10:55, Rassol2 сказал:

@Vetlucky777 @kJlukOo @partshez
Бизнес предложение, коль говорят что я не хочу адаптацию под отечественный модуль, я с этим не согласен в корне. Но что сказано то сказно.
У меня предожение.

Вот инструкция php скриптам.

https://simplepars.top/index.php?page=notes&tag_id=34

Я вам @kJlukOo  предоставляю бесплатно модуль лицензию.
Вы пишите скрипт который будет будет выполнять работу с вашим модулем.

Скрипт должен иметь на вход несколько параметров.
 

1) тип действия. Значение может быть 0,1,2,3 - в зависимости от значений бужет действия.
0 - игнорировать работы с данным алгоритмом.
1 - Только добавлять товары в связь.
2 - Только обновлдять
3 - Обновлять и добавлять.

 

2) После с которых будет браться строка, вот эти поля.

  Показать содержимое

Строку будет вида.
0001,002,003,004,005
Каждое значение это идентификатор.

3) Выбор идентификатора. С чем сравнивать каждое значение которое взято из строки в поле два.
Идентификатором товара могут выступать следующие поля.
 

  Показать содержимое

Если вы считаете что я просто не хочу внедрять отечественные разработки, то вот мое предложение.
Вы пишите такой скрипт.
Который будет брать на вход указанные данные, дальше строить связи по логике вашего модуля, (тут вам виднее уже)
Дальше пользователи которые заинтересованы вместе со мной тестируем, если все работает то в следующем обновлении я внедряю адаптацию под ваш модуль.

Добавляю сюда ваш модуль.
 

  Показать содержимое

При необходимости ссылку на ваше инструкцию или ваши контакты если пожелаете.


Если вы считаете что я не готов внедрять и проблема во мне, тогда пожалуйста покажите пример, напишите скрипт который я потом преобразую в стандарту логику модуля.

Я думаю это хорошее решение и которое устроит всех.

жду модуль с ключем на почту [email protected]

домен http://ocs3/

[Rassol2]

22.12.2023 в 06:22, kJlukOo сказал:

жду модуль с ключем на почту [email protected]

домен http://ocs3/

Все готово, отправил.
Домен не имеет значение модуль можно переносить.

[heagar]

Здравствуйте! Подскажите пожалуйста что делать если парсер создаёт дубли в категориях? Парсер работает через импорт xml-файлов.

Змінено 24 грудня 2023 користувачем heagar

[heagar]

Еще вопрос по КРОНу. Вроде всё сделал как в инструкции. Команду использовал по инструкции /usr/bin/wget -O - -q -t 1 http://Ваш_сайт/admin/sp_cron.php (соответственно вместо "Ваш_сайт", вставил адрес своего сайта). Пробовал и через http:// и через https://

В назначенное время скрипт не запускается, а всё остаётся неизменно. У меня ВПС работает через ISPmanager. Что я сделал не так?

[heagar]

17.12.2023 в 16:40, Rassol2 сказал:

нет такого оператора. Только все значение. Сделайте границу парсинга отдельно с категориями для наценки, и там уже обрежте или поиск заменой замените на число, а затем цену уможте на эту границу парсинга. Вариантов многовато для решения этой задачи.

Кстати сделал как вы написали, помогло, спасибо! Честно у обычных людей ум работает не так гибко как у программистов, поэтому мне даже в голову не пришло что можно так подойти к решению) Благодарю.

[partshez]

24.12.2023 в 09:38, heagar сказал:

Здравствуйте! Подскажите пожалуйста что делать если парсер создаёт дубли в категориях? Парсер работает через импорт xml-файлов.

Парсер не может создавать дубли. Ищите ошибку в настройках. Скорее всего связано с языками. Чаще смотрите информацию в Логах, ответ там

Змінено 24 грудня 2023 користувачем partshez

[partshez]

24.12.2023 в 10:00, heagar сказал:

Еще вопрос по КРОНу. Вроде всё сделал как в инструкции. Команду использовал по инструкции /usr/bin/wget -O - -q -t 1 http://Ваш_сайт/admin/sp_cron.php (соответственно вместо "Ваш_сайт", вставил адрес своего сайта). Пробовал и через http:// и через https://

В назначенное время скрипт не запускается, а всё остаётся неизменно. У меня ВПС работает через ISPmanager. Что я сделал не так?

Сразу вопрос. Часы 7-5. Это как модуль должен понимать? Поставьте все звездочки для начала и проверьте запуск задачи по крон

[heagar]

24.12.2023 в 15:38, partshez сказал:

Сразу вопрос. Часы 7-5. Это как модуль должен понимать? Поставьте все звездочки для начала и проверьте запуск задачи по крон

Установил в часы цифру 9 и парсер включился, отработал час и остановился. Я думал если я поставлю 7-5 (ну или 9-7), то это означат работай 22 часа, с 7 утра этого дня до 5 утра следующего, что парсер руководствуется такой логикой.

Получается что он не понимает в таком формате, а понимает только если ему говорят в рамках только одних суток. То есть максимум можно поставить 7-23, верно? Просто у меня 99 т. товаров нужно просеять и опубликовать и это может занять больше 17 часов

Сейчас поставил звёздочку, а в поле таймаут поставил 20, на случай если я ошибся и парсинг займёт несколько часов, чтобы он тормозился до следующего дня. Так верно сделал?

[heagar]

24.12.2023 в 15:35, partshez сказал:

Парсер не может создавать дубли. Ищите ошибку в настройках. Скорее всего связано с языками. Чаще смотрите информацию в Логах, ответ там

 

уже 20 тыс. товаров опубликовано, у меня комп помирает при попытке открыть эти 233 мб логов

 

Ладно бы если одна категория была пустая. Так он заполняет и ту и другую, раскидывает товары, то в одну, то в другую. При чём в каждой создал одинаковые вложения подкатегорий. 

 

 

Комп помирал, но выдал как в логах парсер создавал дубли категорий. Зачем он это делает?

Змінено 24 грудня 2023 користувачем heagar

[partshez]

24.12.2023 в 16:44, heagar сказал:

 

уже 20 тыс. товаров опубликовано, у меня комп помирает при попытке открыть эти 233 мб логов

 

Ладно бы если одна категория была пустая. Так он заполняет и ту и другую, раскидывает товары, то в одну, то в другую. При чём в каждой создал одинаковые вложения подкатегорий. А как это в логах определить, там 

Вариантов два могу предложить.

Вариант 1. Почитать инструкции, разобраться в функционале модуля, подумать, найти ошибку и исправить.

Вариант 2. Обратиться за платной помощью. 

[Rassol2]

24.12.2023 в 08:44, heagar сказал:

 

уже 20 тыс. товаров опубликовано, у меня комп помирает при попытке открыть эти 233 мб логов

 

Ладно бы если одна категория была пустая. Так он заполняет и ту и другую, раскидывает товары, то в одну, то в другую. При чём в каждой создал одинаковые вложения подкатегорий. А как это в логах определить, там 

Причина одна, категорий которая парсится не совпадает с той что уже есть в базе данных.
Дальше исчите в чем разница.

Логи можно чистить, это порой помогает не достигать таких размеров.
Все что вам нужно, сделать так что бы категория с граница парсинга полностью, самимвол в символ, байт в байт, совпадало с тем что у вас уже создано. Проверить что бы не было пробелов, ну полностью сопадало.
Все что вам нужно.

[heagar]

24.12.2023 в 20:20, Rassol2 сказал:

Причина одна, категорий которая парсится не совпадает с той что уже есть в базе данных.
Дальше исчите в чем разница.

Логи можно чистить, это порой помогает не достигать таких размеров.
Все что вам нужно, сделать так что бы категория с граница парсинга полностью, самимвол в символ, байт в байт, совпадало с тем что у вас уже создано. Проверить что бы не было пробелов, ну полностью сопадало.
Все что вам нужно.

 

Я дополнил свой предыдущий ответ скрином в логах. Он создаёт дубли категории которая есть слово в слово. А может быть оказаться так что я до этого запукал парсер несколько раз и удалял все товары несколько раз через вкладку "Редактор товаров" (В самом SimplePars). После этого я заходил в категории Опенкарта и удалял. Может они удалялись из админки а в базе остались и поэтому парсер создаёт дубли. Но тогда почему он раскидывает то в одну то в другую?

 

Вот отрывок из логов:

2023-12-23 20:18:37| ->КАТЕГОРИЯ СОЗДАНА : ID=224 Адрес категории = Щитовое оборудование
2023-12-23 20:18:37| ->КАТЕГОРИЯ СОЗДАНА : ID=225 Адрес категории = Щитовое оборудование
2023-12-23 20:18:37| ->[SEO_URL Создан] : category_id=224 | SEO_URL= schitovoe-oborudovanie
2023-12-23 20:18:37| ->[SEO_URL Создан] : category_id=225 | SEO_URL= schitovoe-oborudovanie
2023-12-23 20:18:37| ->КАТЕГОРИЯ СОЗДАНА : ID=226 Адрес категории = Щитовое оборудование->Элементы для установки оборудования и прокладки кабеля
2023-12-23 20:18:37| ->КАТЕГОРИЯ СОЗДАНА : ID=227 Адрес категории = Щитовое оборудование->Элементы для установки оборудования и прокладки кабеля
2023-12-23 20:18:37| ->[SEO_URL Создан] : category_id=227 | SEO_URL= elementy-dlya-ustanovki-oborudovaniya-i-prokladki-kabelya
2023-12-23 20:18:37| ->[SEO_URL Создан] : category_id=226 | SEO_URL= elementy-dlya-ustanovki-oborudovaniya-i-prokladki-kabelya
2023-12-23 20:18:37| ->КАТЕГОРИЯ СОЗДАНА : ID=228 Адрес категории = Щитовое оборудование->Элементы для установки оборудования и прокладки кабеля->Сальники и сальниковые панели
2023-12-23 20:18:37| ->КАТЕГОРИЯ СОЗДАНА : ID=229 Адрес категории = Щитовое оборудование->Элементы для установки оборудования и прокладки кабеля->Сальники и сальниковые панели
2023-12-23 20:18:37| ->[SEO_URL Создан] : category_id=229 | SEO_URL= salniki-i-salnikovye-paneli
2023-12-23 20:18:37| ->[SEO_URL Создан] : category_id=228 | SEO_URL= salniki-i-salnikovye-paneli
2023-12-23 20:18:37| ->[ДОБАВЛЕН ТОВАР] ID = 22812 | Идентификатор sku = [1038]
2023-12-23 20:18:37| -->Данные | Код товара [model] = 22812
2023-12-23 20:18:37| -->Данные | Артикул [sku] = 1038
2023-12-23 20:18:37| -->Данные | Название = Сальник PG21 IP54 d отверстия 27мм, d проводника 13-18мм ЭРА

 

[Rassol2]

24.12.2023 в 08:59, heagar сказал:

Я дополнил свой предыдущий ответ скрином в логах. Он создаёт дубли категории которая есть слово в слово.

Не создает. Вы просто не нашли в чем проблема. Пожалуйста придельно внимательно все проверьте.
Не вы первый не вы последний. Из 100 случаев, 115 оказывается именно в этом.

PS. Прячьте под спойлер скришоты, это делает ветку модуля читаемой.

[Rassol2]

24.12.2023 в 08:59, heagar сказал:

Но тогда почему он раскидывает то в одну то в другую?

Потому что в одинраз приходит категория с пробелом к примеру, модуль запрашивает у базы данных эту ктагеорию и кладет туда товар.
Второй товар приходит в границе парсинга тоже слово но без пробела, модуль запрашивает у базы данных id такой же категории где какой то символ отличается.
База данных отдает уже другой id и модуль привязывает товар к другой категории.

Все в вписывается в текущую логику.

[Rassol2]

@heagar Для теста если вы не верите что вопрос в этом, вы можете заменить категорию допустим на цифру 1.
И посмотреть будет ли модуль постоянно создавать дубли категорий с именем 1. Если да да действительно вопрос серьезный я ошибаюсь и нужно что то решать.
Если не будет, то нужно перепроверять настройки, и вычищать все ненужное с имени категорий и приводить их к нужному виду.

[heagar]

24.12.2023 в 20:43, Rassol2 сказал:

@heagar Для теста если вы не верите что вопрос в этом, вы можете заменить категорию допустим на цифру 1.
И посмотреть будет ли модуль постоянно создавать дубли категорий с именем 1. Если да да действительно вопрос серьезный я ошибаюсь и нужно что то решать.
Если не будет, то нужно перепроверять настройки, и вычищать все ненужное с имени категорий и приводить их к нужному виду.

Никак не соображу как реализовать, то что вы советуете. У меня 99 тыс. товаров нарезаются из 880 xml-файлов. В каких-то из этих 99 тыс. товаров есть две чуть чуть разных категории "Щитовое оборудование". Как их проверить не пойму...

Допустим я найду один товар у которого корневая категория "Щитовое оборудование", в поиск и замене сделаю везде где встречается "Щитовое оборудование" меняй на цифру 1. А как найти вторую которая похожа но другая?

[Rassol2]

24.12.2023 в 10:24, heagar сказал:

Никак не соображу как реализовать, то что вы советуете. У меня 99 тыс. товаров нарезаются из 880 xml-файлов. В каких-то из этих 99 тыс. товаров есть две чуть чуть разных категории "Щитовое оборудование". Как их проверить не пойму...

Допустим я найду один товар у которого корневая категория "Щитовое оборудование", в поиск и замене сделаю везде где встречается "Щитовое оборудование" меняй на цифру 1. А как найти вторую которая похожа но другая?

Скиньте доступ в админку и ftp.

Также скиньте ссылку при парсинге который создается дубль категории. Напишите мне проект в котором это происходит. 
Все это в ЛС желательно одним сообщением. 
 

И я ночью посмотрю в чем разница между двумя категориями и напишу вам. 

[Axelenz]

24.12.2023 в 18:24, heagar сказал:

Никак не соображу как реализовать, то что вы советуете. У меня 99 тыс. товаров нарезаются из 880 xml-файлов. В каких-то из этих 99 тыс. товаров есть две чуть чуть разных категории "Щитовое оборудование". Как их проверить не пойму...

Допустим я найду один товар у которого корневая категория "Щитовое оборудование", в поиск и замене сделаю везде где встречается "Щитовое оборудование" меняй на цифру 1. А как найти вторую которая похожа но другая?

Регулярные выражения для того и существуют, чтобы приводить к единому виду Категории, например, которые на вид одинаковы, но отличаются символами пробелов в начале или в конце или два пробела где-то между словами... Ищите их в этой ветке... сто раз упоминались...

[Axelenz]

24.12.2023 в 10:03, heagar сказал:

Кстати сделал как вы написали, помогло, спасибо! Честно у обычных людей ум работает не так гибко как у программистов, поэтому мне даже в голову не пришло что можно так подойти к решению) Благодарю.

Именно потому обычные люди и обращаются к специалистам, чтобы они реализовывали реально рабочие проекты, а не городить "поделки на коленках"  

[partshez]

Вопрос автору. При проверке на сайте  /inst.php  показывает версию PHP 7.4    https://prnt.sc/3f4MrKQ_1qXu

На хостинге показывает версию 7.2   https://prnt.sc/50S2Fp3SbpCC

Кому верить? Для установки программ и модулей мне необходимо понимать, какая же версия реально установлена на сайте. 

Змінено 27 грудня 2023 користувачем partshez

[Rassol2]

27.12.2023 в 02:17, partshez сказал:

Вопрос автору. При проверке на сайте  /inst.php  показывает версию PHP 7.4    https://prnt.sc/3f4MrKQ_1qXu

На хостинге показывает версию 7.2   https://prnt.sc/50S2Fp3SbpCC

Кому верить? Для установки программ и модулей мне необходимо понимать, какая же версия реально установлена на сайте. 

Я бы верил скрипту потому что он берет значение которое отдает ему php. 
+ бывает так что на хостинге ты выбираешь версию пхп жиге применить и хостингу нужно некоторое время что бы установить нужную нужную версию php но в меню показывает уже измененную. 
 

Ну и третье. 
Всегда можно заливать все версии  модуля под разные версии пхп пока не заработает. Именно так я поступаю каждый раз при необходимости это тупо быстрее чем писать скрипт для просмотра версии пхп. Как то так. 

[partshez]

27.12.2023 в 12:15, Rassol2 сказал:

Я бы верил скрипту потому что он берет значение которое отдает ему php. 
+ бывает так что на хостинге ты выбираешь версию пхп жиге применить и хостингу нужно некоторое время что бы установить нужную нужную версию php но в меню показывает уже измененную. 
 

Ну и третье. 
Всегда можно заливать все версии  модуля под разные версии пхп пока не заработает. Именно так я поступаю каждый раз при необходимости это тупо быстрее чем писать скрипт для просмотра версии пхп. Как то так. 

Понял. Спасибо!

При изменения тарифа скрипт показывает 7.4. Техподдержка морозится, предлагает самостоятельно изменить при необходимости. На сервере 7.2 написано. Сейчас АОП не работает, вообще исчез из админки. Остальные модули вроде бы работают. Буду разбираться дальше.

[Rassol2]

27.12.2023 в 04:24, partshez сказал:

Сейчас АОП не работает, вообще исчез из админки. Остальные модули вроде бы работают. Буду разбираться дальше.

При всем уважении я не могу отвечать за АОП, наверно в таком случаи вам нужно писать в ветке того модуля который не работает.