Rassol2

@Axelenz Пришлите пару примеров xml с сломанными категориями.

26.09.2023 в 07:24, partshez сказал:

И еще хотелку. В коде есть закоментированные строки. Например, 10 потоков для крон и при ручном запуске, увеличение лимита времени работы скрипта свыше 25 сек ... И еще некоторые возможности, расширяющие функционал модуля. 

В Инструкциях создать примерно такую статью, как Заметки по регулярным выражениям. В ней указать коментированные строки, для шибко грамотных и любознательных пользователей. 

Иначе после каждого обновления приходится рыться в своих записях для поиска таких данных. У меня, конечно, есть такой блокнотик для служебного пользования  Но удобнее было бы видеть в Инструкциях

С повышением потоков напишу статью.
А вот с заметками поиск замене я думаю каждый должен для себя делать такие заметки. Такая статья есть но она обшего плана и сильно хитрые правила не описать в ней так что бы она стала понятна всем. Да и не читают ее если честно. Вот она.
https://simplepars.top/index.php?page=note&n=37

Не читают и не смотрят видео по настройкам поиск замены, а эту статью не осиливают даже когда я ее отправляю в ответ на вопрос.
Так что большого смысла это не сышит.

26.09.2023 в 13:36, SSHEVA сказал:

Да полностью согласен, по этому и приобрел этот модуль, некоторые клиенты уже сделали уже заказ и все прошло успешно.

Так что это хороший инструмент, который развивать и развивать. Было бы неплохо подобное для Вайбер, но у них такое.. Д... API делал я под него уведомления о заказах, намучился. 

не не не
Вот с вайбером пусть кто то сам.
У меня он есть но я туда не захожу. Я сказал кто хочет быстро вязаться, телеграмм а в вайбере я отвечу раз или два в месяц. После двух лет, все нужные люди в телеграмме.

Вайбер бесит лагучае гУмно.

Ну еше не готово, у меня но вот вдумайтесь какой уровень взаимодействия с клиентом. Или отвлеченности можно организовать в телеграмм.
Можно записывать что смотрел клиент.
Можно напоминать ему о своем существовании через меседжер.
Можно делать рассылки и напоминания.
Предложение.

А еше можно анализировать просмотры запросы и поведение клиентов, группировать их по интересам и делать предложения определенным группам.
Допустим у вас есть 1000 клиентов кто покупает одинаковый товар.
Допустим тарелки и крушки. И 900 из них, так же покупают салатники.
Вы берете 100 клиентов которые не покупают, и присылаете им сообщение.

Здравствуйте обратите внимание на данные салатники.
И показываете товар.
А снизу пишите
Мы не хотели вас беспокоить, но они будут чудесно сотрется в сочетании с вашими стаканами и тарелками.

Короче можно делать вещи. А главное это в телеграм. Где женщина не пропустить это сообщение как происходит с почтой. Где она может переслать сообщение подругам, мужу обсудить и загореться.

Маркетинг становится более технологичным.

26.09.2023 в 06:20, williamwill009 сказал:

Мне кажется что телеграмм неудобный для интернет магазина.

Я тоже считаю что традиционные интернет магазины горзадо удобнее. А моя бабушка слово интернет не могла выговорить, а мама к примеру до сих пор на покупки через интернет смотри с опаской. А как поведет себя поколоение которое будет сидеть в семеджерах, мне не известно, но вот попробовать подготовится к этому мы можем.
Так что что сейчас не идеально может пилится годами и стать неотъемлемой частью жизни через 5-10 лет.

Обновление v4.9-8_beta

Исправления недочетов в парсинге файлов.

25.09.2023 в 04:21, maxleshiy сказал:

Спросил что нужно, я написал ))) Ждем! А то без этого функционала для меня модуль так и остается только для тестирования, в работу пустить не могу так как операторы заказы в программе не увидят никогда

 

Может позже вернемся к этому вопросу и я сделаю для вас отправку заказа в стандартную систему, но не полноценную а только ту часть что нужно для интеграции с 1с

25.09.2023 в 00:10, maxleshiy сказал:

У меня такая вот беда. У меня все заказы залетают в 1с, а так как ТГ заказы в отдельной ветке, то в 1с ничего не поподает. Давайте сделаем возможность импорта заказов с тг в штатные заказы

Не это возможно только в далеком будущем когда делать уже будет нечего. 
 

Если не будет мелких краткосрочных задач начну реализацию системы рассылок. Что бы можно было устроить современный маркетинг.

что бы были рассылки сообщений напоминания, и так далее. 

24.09.2023 в 15:49, Axelenz сказал:

А зачем поиск/замена на весь xml если это и так дальше реализовано в соответствующей вкладке ? Из-за ошибок в блоке категории возникают дальнейшие проблемы. Возможно ли сделать поиск/замену только для этого блока ? 

Да возможно, но это супер нелогично.

я понимаю что вам хочется иметь решение проблемы с кривыми Id категорий, но подымать из за этого целый комплекс поиск замены со всеми вытекающими на подобие. 
Создания блока для поиск замены в дизайне. 
Хранить данные в базе. 
Выводить на странице. 
Обработка в пред просмотре. 
Обработка при нарезании. 
Эксопрт этих настроек.

Импорт этих настроек. 
 

под каждой из этих строк не малый обьем работы который нужно проделать и учитывать в будущих реализациях. 
 

И вот это все еше и не будет работать на весь файл а только на блок категорий. И это еше нужно объяснить клиентам. 
И самое досадное что это нужно просто что бы удалить parentID="1"

в одной категории. 
 

Если бы это хоть работало на весь файл, то были бы шансы что данный функционал найдет какое-то применение в будущем а так ….. 

я может гвоздями в коде прибью что если в категории указан ид родителя а его нет, считать эту категорию самой родительской. 
и на этом и порешаем. Это если такое будет иметь смысл, я еше не проводил ресерч. 

Для тех кто хотел поиск замену на весь файл XML.
Решил попробовать внедрить и понял почему этого нет))

Если мы хотим сделать поиск замену на весь файл XML где то здесь.
 

То сталкиваемся с большой проблемой.
Модуль не держит в памяти сразу весь xml а читает его построчно, а значит нельзя применить правило поиск замены к всему файлу.
Так сделано что бы модуль мог обрабатывать файлы большого обьема и не крашится из за нехватки ОЗУ.
 

Так что поиск замену можно применять только к нарезанным товарам.
Эта задача тоже пока не реализуем.

В теории это можно сделать, но на данный момент цель не оправдывает средства.

Обновление v4.9-7_beta

1) Исправлена один недочет в парсинге файлов.
2) Ускорен париснг XML/YML примерно до 20%
 

Просьба, обратит внимание на скорость до обновления и после и описаться. Так как данная инновация не является финальной и все будет зависит от от вас.
Если не будет отзывов. Или не будет повышение производительности у вас, тогда данное изменение будет аннулировано.
Решение спорное и требует тестов в разных сценариях.

Скорость должна увеличится именно на парисинг нарезанных xml файлов.
Так же при больших потоках производительность должна повысится.

Провел тесты, новой обработки xml думал смогу выжать несколько X скорости, но увы. Если у вас хороших хостинг то прирост скорости будет незначительный.
Если у вас слабый хостинг тогда прирост будет кратный.

Старая технология.

13466 ссылок ориентировочно будут обработаны через 55 минут и 47 секунд.
 

Новый подход

46 минуты 32 сек на том же обьеме работы.

Здесь я попробовал исключить веб запросы при обработке xml, это самое дорогое в парсинге.
Дорого как по времени так и по ресурсам. В новом подходе это будет исключено.

По мимо прироста скорости должно снизится потребление ресурсов, то есть ниже нагрузка. Что то же должно порадовать обладателей бюджетных хостингов.
Собственно прирост на производительном хостинге составил около 17% при понижении потребления, что не может не радовать.
Хотя я ожидал большего. Завтра закончу и выложу релиз, а от вас просьба замерить производительность.

Так как мои расчеты показывали больший прирост.

Что из пожеланий на реализацию следующим ?

21.09.2023 в 15:44, buslikdrev сказал:

Настройки запроса/Собственные заголовки - не удаляется \r, а только \n

Не понял что вы имеете в виду.

Найден баг.

В модуле в последней версии найден баг с загрузкой файлов.
Поправлю к следующему обновлении. Сейчас файлы грузятся битые.
Обновление попробую сделать сегодня завтра.

Внимание.
Мне нужен проект с xml где после делания файла будет 5000 + товаров. Нужно для тестирования ускорения работы парсинга xml.
Пришлите готовый проект с настроенным созданием товаров и тд. Буду признателен.

19.09.2023 в 09:06, buslikdrev сказал:

Проще там задать условие, чем думать, как создать условие удаления всех тегов с ценой, если нет нужного города. Потом удаление всего кроме цены, если есть нужный город.

+ 2 условия минимум.

Тут я понимаю что мой ответ вам не понравится. Но я вынужден.
На данный момент этот вопрос можно решить через поиск замену, а востребованности нет. А значит пока что это не будет внедрено. Возможно в будущем.
 

19.09.2023 в 09:06, buslikdrev сказал:

Для обработки товара, нужно задать условие такое же, как и при 404. На сайте донора 301 идёт на категорию. Поэтому мне наоборот переход по редиректам отключить. В общем не узнать, в какой ссылке был переход - значит нужно велосипед делать для поиска ошибки в логах и дёргать файл лога каждый запрос (для обработки 301), как и таблицу pars_link (для обработки 404).

Это довольно специфический сценарий. И хорошо что вы смогли найти решение через скрипты, дергая логи и так далее. По праву универсальный модуль неправда ли.

Изменить это нельзя так как 301 и 302 ответ сервера, это не ошибка это констатация факта того что страница была перенесена.
И по подавляющем случаи этот просто перенос.
К примеру такой же ответ отдает опенкарт когда вы заходите по query string и вас переадресует на ЧПУ. Из за такой стандартной процедуры записывать в логи ошибку, делать отказ от обработки и помешать ссылку в список не обработанных будет крайне не правильно.
Но я рад что вы смогли найти свое личное решение этого вопроса. Это круто.

Цитата

Всем плевать, вот и не востребован.

Так и работает рынок. Если есть спрос появляется предложение.

@buslikdrev Только желательно конструктивно.
Без гибких ответов по типу.
А зачем через поиск замену если можно было бы сделать как я показал.
Потому что такой ответ не имеет смысла, с таким успехом можно и через поиск замену решить вопрос.

В принципе я не против такого функционала, просто пока он не был востребован, в массе своей, и по этому его пока нет.

19.09.2023 в 06:56, buslikdrev сказал:

Этот код не даёт записать ошибку 301 в таблицу pars_link и без вариантов по 301 ссылку никак не обработать (не построить условие для товара).

Это не ошибка, это ответ который гласит что страница перенесена на другой адрес, на постоянной основе.
Идете в настройки запросов и включаете переход по редиректам.
 

И модуль будет переходит и получать код страницы, и нинужно ни каких спец методов, и скриптов для этого. Это стандартный сценарий.
(кроме случаев где есть какой то хитрый код на js с проверкой браузера и получением кук и последующим редиректом)
Но в стандартен это обычная ссылка без особенностей.

PS. Вы бы с таким рвением как вы лезете в код модуля лезли в настройки и читали что вам доступно. Можете и в код не прийдется смотреть )

По второму вопросу, понятно.
Но на всякий случай спрошу, а через поиск замену почему не хотите решить это вопрос ?

19.09.2023 в 04:26, buslikdrev сказал:

Зачем при отправке запроса "Парсинг в ИМ" удалять ссылки с ответом ошибок? Это же не позволяет с помощью скриптов устанавливать условие на такие ссылки. Конечно можно установить, но нагрузка на такое действие в разы выше, чем когда бы не удалялась ссылка и запускался скрипт для неё. Лучше пусть все ссылки попадают в массив или сделать настройку для возможности пропускать ссылки с ошибками, а в массиве уже можете установить условие не добавлять инфу в товар при ошибке (согласно условиям границ, оно и так ничего не добавит).

Не совсем понял что вы имеете в виду.
Модуль не удаляет ссылки с ошибками. Если модуль запросил ссылку и в ответе пришла ошибка, то такую ссылку вы можете увидеть в списке.

Если я правильно понял что вы имеете в виду.

19.09.2023 в 04:26, buslikdrev сказал:

В "Настройки парсинга" не хватает установки регулярного выражения или установки возможности варианта (вариант 1|вариант 2) - меньше границ нужно будет создавать.

Немного подробнее можете сказать что про что идет речь ?
Вы имеете в виду эти поля ?
 

Это не может не радовать.
А сбор ссылок делаете через модуль SimplePars если да то напишите как возможно подскажу более быстрый и удобный вариант.

Здравствуйте.
Опишите что и как нужно парсить.
Категории и так далее, что бы было понятно обьем работы и какой результат вам нужно в финале.

16.09.2023 в 09:22, Axelenz сказал:

Прайсы в .xls это как анахронизм какой-то... Да, раньше почти все сайты в этом формате отдавали данные, но сейчас то xml/yml это давно уже формат де-факто... ну иногда ещё и CSV встречается, но то такое (формат полностью не стандартизирован)... 

Не думаю, что модулю это вообще нужно... вперёд лучше смотреть, а не оглядываться назад.

Если и будет загрузка прайс листов то только csv. Другое вообще пока не рассматриваю. Xml / yml уже есть. 

16.09.2023 в 08:33, Axelenz сказал:

 

Зачем это нужно, если есть АОП ? Ответ только один: для экономии, чтобы не покупать два модуля, а обходиться одним...

А мне больше хотелось бы видеть реализацию работы с "кривыми" выгрузками xml/yml (без правки самих файлов модуля), которых не мало, а не дублирование того, что и так уже реализовано у других...

Над этим думаю. 
Уже есть наброски парсера xml 2.0 который может ускорить процес обработки xml раз в 100 , только еше все на уровне моих внутренних бета тестов. Если вcе пройдет успешно то прокаю xml и реши вопрос с внесением правок в файл. Но во второй волне обновления парсера xml. 

@buslikdrev Еше сразу сам скажу что бы не тратить на это время.

1) мой модуль не может парсить сайты где необходима обработка javascript
2) сейчас все чеше стали попадатся сайты с авторизацией где используются токены. Тоже пока никак.
3) Мой модуль не может парсить эксель документы. Все же он создавался как парсер сайтов.
4) В кроне, нельзя указать время переходящие через сутки. То есть время выполнения задания вот в таком параметре работать не будут 22-04

5) дизаин, js в интерфейсе, свистоперделки, что бы все без перезагрузки, короче все блага веба. - Этого тоже нет.
 

Это вот прям основная боль моя.
Первые 2 должен был решить в 22-23 году, но не сложилось.
3 - не планировал делать, но сейчас все чаше люди пишут что нужно.
4 - это отдельная боль которую нужно переработать.

5 - Даже никогда не загадывал когда это делать, всегда есть дела по важнее учитывая что это вообще моя слабость.

Любой продукт это баланс.
Есть плюсы и минусы, и если плюсы перевешивают то у продукта есть спрос а если нет то нет.
Вот сейчас для меня это основные задачи.