Rassol2

21.09.2023 в 15:44, buslikdrev сказал:

Настройки запроса/Собственные заголовки - не удаляется \r, а только \n

Не понял что вы имеете в виду.

Найден баг.

В модуле в последней версии найден баг с загрузкой файлов.
Поправлю к следующему обновлении. Сейчас файлы грузятся битые.
Обновление попробую сделать сегодня завтра.

Внимание.
Мне нужен проект с xml где после делания файла будет 5000 + товаров. Нужно для тестирования ускорения работы парсинга xml.
Пришлите готовый проект с настроенным созданием товаров и тд. Буду признателен.

19.09.2023 в 09:06, buslikdrev сказал:

Проще там задать условие, чем думать, как создать условие удаления всех тегов с ценой, если нет нужного города. Потом удаление всего кроме цены, если есть нужный город.

+ 2 условия минимум.

Тут я понимаю что мой ответ вам не понравится. Но я вынужден.
На данный момент этот вопрос можно решить через поиск замену, а востребованности нет. А значит пока что это не будет внедрено. Возможно в будущем.
 

19.09.2023 в 09:06, buslikdrev сказал:

Для обработки товара, нужно задать условие такое же, как и при 404. На сайте донора 301 идёт на категорию. Поэтому мне наоборот переход по редиректам отключить. В общем не узнать, в какой ссылке был переход - значит нужно велосипед делать для поиска ошибки в логах и дёргать файл лога каждый запрос (для обработки 301), как и таблицу pars_link (для обработки 404).

Это довольно специфический сценарий. И хорошо что вы смогли найти решение через скрипты, дергая логи и так далее. По праву универсальный модуль неправда ли.

Изменить это нельзя так как 301 и 302 ответ сервера, это не ошибка это констатация факта того что страница была перенесена.
И по подавляющем случаи этот просто перенос.
К примеру такой же ответ отдает опенкарт когда вы заходите по query string и вас переадресует на ЧПУ. Из за такой стандартной процедуры записывать в логи ошибку, делать отказ от обработки и помешать ссылку в список не обработанных будет крайне не правильно.
Но я рад что вы смогли найти свое личное решение этого вопроса. Это круто.

Цитата

Всем плевать, вот и не востребован.

Так и работает рынок. Если есть спрос появляется предложение.

@buslikdrev Только желательно конструктивно.
Без гибких ответов по типу.
А зачем через поиск замену если можно было бы сделать как я показал.
Потому что такой ответ не имеет смысла, с таким успехом можно и через поиск замену решить вопрос.

В принципе я не против такого функционала, просто пока он не был востребован, в массе своей, и по этому его пока нет.

19.09.2023 в 06:56, buslikdrev сказал:

Этот код не даёт записать ошибку 301 в таблицу pars_link и без вариантов по 301 ссылку никак не обработать (не построить условие для товара).

Это не ошибка, это ответ который гласит что страница перенесена на другой адрес, на постоянной основе.
Идете в настройки запросов и включаете переход по редиректам.
 

И модуль будет переходит и получать код страницы, и нинужно ни каких спец методов, и скриптов для этого. Это стандартный сценарий.
(кроме случаев где есть какой то хитрый код на js с проверкой браузера и получением кук и последующим редиректом)
Но в стандартен это обычная ссылка без особенностей.

PS. Вы бы с таким рвением как вы лезете в код модуля лезли в настройки и читали что вам доступно. Можете и в код не прийдется смотреть )

По второму вопросу, понятно.
Но на всякий случай спрошу, а через поиск замену почему не хотите решить это вопрос ?

19.09.2023 в 04:26, buslikdrev сказал:

Зачем при отправке запроса "Парсинг в ИМ" удалять ссылки с ответом ошибок? Это же не позволяет с помощью скриптов устанавливать условие на такие ссылки. Конечно можно установить, но нагрузка на такое действие в разы выше, чем когда бы не удалялась ссылка и запускался скрипт для неё. Лучше пусть все ссылки попадают в массив или сделать настройку для возможности пропускать ссылки с ошибками, а в массиве уже можете установить условие не добавлять инфу в товар при ошибке (согласно условиям границ, оно и так ничего не добавит).

Не совсем понял что вы имеете в виду.
Модуль не удаляет ссылки с ошибками. Если модуль запросил ссылку и в ответе пришла ошибка, то такую ссылку вы можете увидеть в списке.

Если я правильно понял что вы имеете в виду.

19.09.2023 в 04:26, buslikdrev сказал:

В "Настройки парсинга" не хватает установки регулярного выражения или установки возможности варианта (вариант 1|вариант 2) - меньше границ нужно будет создавать.

Немного подробнее можете сказать что про что идет речь ?
Вы имеете в виду эти поля ?
 

Это не может не радовать.
А сбор ссылок делаете через модуль SimplePars если да то напишите как возможно подскажу более быстрый и удобный вариант.

Здравствуйте.
Опишите что и как нужно парсить.
Категории и так далее, что бы было понятно обьем работы и какой результат вам нужно в финале.

16.09.2023 в 09:22, Axelenz сказал:

Прайсы в .xls это как анахронизм какой-то... Да, раньше почти все сайты в этом формате отдавали данные, но сейчас то xml/yml это давно уже формат де-факто... ну иногда ещё и CSV встречается, но то такое (формат полностью не стандартизирован)... 

Не думаю, что модулю это вообще нужно... вперёд лучше смотреть, а не оглядываться назад.

Если и будет загрузка прайс листов то только csv. Другое вообще пока не рассматриваю. Xml / yml уже есть. 

16.09.2023 в 08:33, Axelenz сказал:

 

Зачем это нужно, если есть АОП ? Ответ только один: для экономии, чтобы не покупать два модуля, а обходиться одним...

А мне больше хотелось бы видеть реализацию работы с "кривыми" выгрузками xml/yml (без правки самих файлов модуля), которых не мало, а не дублирование того, что и так уже реализовано у других...

Над этим думаю. 
Уже есть наброски парсера xml 2.0 который может ускорить процес обработки xml раз в 100 , только еше все на уровне моих внутренних бета тестов. Если вcе пройдет успешно то прокаю xml и реши вопрос с внесением правок в файл. Но во второй волне обновления парсера xml. 

@buslikdrev Еше сразу сам скажу что бы не тратить на это время.

1) мой модуль не может парсить сайты где необходима обработка javascript
2) сейчас все чеше стали попадатся сайты с авторизацией где используются токены. Тоже пока никак.
3) Мой модуль не может парсить эксель документы. Все же он создавался как парсер сайтов.
4) В кроне, нельзя указать время переходящие через сутки. То есть время выполнения задания вот в таком параметре работать не будут 22-04

5) дизаин, js в интерфейсе, свистоперделки, что бы все без перезагрузки, короче все блага веба. - Этого тоже нет.
 

Это вот прям основная боль моя.
Первые 2 должен был решить в 22-23 году, но не сложилось.
3 - не планировал делать, но сейчас все чаше люди пишут что нужно.
4 - это отдельная боль которую нужно переработать.

5 - Даже никогда не загадывал когда это делать, всегда есть дела по важнее учитывая что это вообще моя слабость.

Любой продукт это баланс.
Есть плюсы и минусы, и если плюсы перевешивают то у продукта есть спрос а если нет то нет.
Вот сейчас для меня это основные задачи.

16.09.2023 в 07:41, buslikdrev сказал:

Вот, например, предлагаете просто отключить. Человек первый раз зайдёт и отдаст свой домен т.к. "Показывать превью" по умолчанию включён и он не в курсе, что сольёт свой домен когда включит.

И за ним вылетит наряд из ЦРУ.
Вам не кажется что вы вот прям вытягиваете все из пальца ?
Я не знаю сколько тысяч доноров была спарсено и что то не было таких прецедентов.

То есть вы можете засветить домен при пред просмотре, кошмар. А то что при парсинге тысяч страниц вы светите свой ip это вас не волнует?
Вы серьезно хотите продавить ноту того что это настолько важно что прям вот нужно с этим что то делать?

Мне даже интересно что же все таки затрегерило эту историю, я тут сижу с вами переписываюсь и смотрю кто нас в этой теме посещает. Интересные гости.

16.09.2023 в 07:21, buslikdrev сказал:

В данный момент - это первое знакомство с этим модулем - это не заработок, а помощь человеку, которому не смог отказать и интерес прочувствовать весь функционал модуля.

Знакомитесь дальше, а я вам помогу с этим. 
Вот здесь описаны все изменений которые были сделаны в модуле, и все они были сделаны потому что мне писали клиенты.

https://opencartforum.com/files/file/6362-simplepars-universalnyy-parser-dlya-im/?tab=changelog

Это говорит о том что вот этот текст что вы написали.
 

16.09.2023 в 07:21, buslikdrev сказал:

Время. И вы не охотно способствуете на улучшение своего продукта (экономии времени заказчику). Вместо того, чтобы принять к сведению поступившую информацию, начинаете огрызаться. Я бы был рад, если бы мне писали про все косяки (самому тяжело их искать.) и предложения. А вы я смотрю рады, чтобы вообще не писали. Такими темпами время покупателям сэкономлено не будет.

Не имеет ни какого смысла.

Давайте подытожу, если что то упустил напомните.

Скрипты, нет подсветки синтаксиса в модуле.
И не будет, я не считаю что это та задаче которая сейчас важна, возможно в будущем когда совершенно нечего будет делать. Для написание 10 трок и обычное поле подойдет, а что то серьезное нужно писать в соответствующем софте. Хотя может вы мне подскажите любой модуль где есть возможность расширять функционал скриптами и там есть подсветка синтаксиса, хоть оценю как другие решают это задачу. На моей практике в лучшем случаи нужно в коде где то расскоментировать строку и подключить внешний скрипт. А то получается сделал я пользователям окошко для просмотре кода, и тут недовольстве.

Нет экспорта скриптов.
Нет, и тоже не планируется, так как скрипты это уже выход за пределы обычного пользователя, и я ожидаю от клиентов которые могут расширить функционал модуля через скрипты большей самостоятельности. Это люди которые способны решать задачи самостоятельно.
А экспор и импор скриптов где могут быть разные id в разных сайтах, приведет мягко говоря к проблемам, есть слово по жоше. Соответственно человек который занимается скриптами должен иметь прямые руки, и вот много того что сделано вокруг этой функции является неким порогом входа. Это вы еше не упомянули тот факт что в инструкции написано, технический поддержка модуля с включенными скриптами не предоставляется. Если у вас есть проблемы отключаете все скрипты и проверяете, если проблема осталась я помогу, если скрипты включены нет. Потому что через собственные скрипты можно все что угодно сделать, даже сломать все.

Над тем что бы использовать один скрипт всегда я подумаю.
 

Переименовывать название фильтров в сборе ссылок.

Я не буду, не вижу смысла. Тут вам угожу, кому то нет. Жалоб от массового потребителя не было, значит я на верном пути.

Номер ссылки которые прогружен в сборе.

Тоже не планирую, ну это прям ребячество. До вас как то справлялись все. Даже не знаю что сказать тут.

Дизаин.
Да тут я не спорил, это мое слабое место. Мог бы давно поправил. Если у меня стоит вопрос что сделать, загрузку файлов или дазаин я иду делать загрузку файлов. Тут каюсь.

Инструкция.
Очень бы хотел что бы все вне было. Тут идеала нет. И моя не дотягивает до современных стандартов я согласен.

Вроде пока все. Но я уверен вы еше напишите. Так что смело продолжайте.

16.09.2023 в 07:31, buslikdrev сказал:

Сделайте, чтобы выполнялся один скрипт для всех видов операций, чтобы можно было писать один файл скрипта. Тогда это будет нужно. Но вы не подумаете такое улучшение сделать и все будут кучу скриптов создавать.

Я вам написал что я этого делать не буду?
Анука сходите в переписку и почитайте.

Не нужно делать за меня выводы и писать что я буду делать а что нет. Проявите немного уважения.
Я же за вас не говорю.
 

16.09.2023 в 06:55, buslikdrev сказал:

При чём здесь id ссылки в базе? Я про номер и говорю. Открыл ссылку с номером, пока настроил страницу - благополучно забыл номер ссылки и не знаешь какую следующую ссылку открывать - перебираешь снова.

ну комон это явно не проблема модуля.

16.09.2023 в 06:55, buslikdrev сказал:

Я посоветовал человеку купить (т.к. он называется Универсальный) и мне нужно с этим модулем работать (тратить время на поиск описаний функций в документации и в исходном коде 13000 строк). Если вас не устраивает не буду больше советовать ваш модуль.

И что тут не так ?
Вас не устраивает слово Универсальный ? Или то что нужно лазить в документацию.
Второе не может не устраивать так как это логично. Но если вас не устраивает слово Универсальный, и вы считаете что мой модуль не должен иметь это слово в названии, напишите мне что угодно где есть приставка универсальный и вы согласный что там это уместно. Хочу понять ваши критерии. 
 

По поводу рекомендовать. Можете этого не делать, я вас это не просил и писать мне такое ну мягко говоря бессмысленно.
Я вам даже больше смкажу, вы его порекомендовали и вы на нем зарабатываете. Рекомендуйте то что вы считаете достояний.

А я буду стремится попасть вашу милость.

И еше больше скажу, здесь есть 3-4 исполнителя которые делают заказы на базе моего модуля, и я никогда не писал ни одному из них просьбу что бы они рекламировали мой модуль. Хотя они являются непосредственно выгодо получателями. Могли бы сидеть в ветке поиска исполнителей, предлагать мой модуль а потом еше и делать заказы на нем как вы сейчас. Но я никогда о таком не просил и просить не буду я считаю что каждый должен рекомендовать то что они считает полезным, не смотря на то что хочет автор. И вшам случаи только вам решать рекомендовать или нет, я тут совершенно не причем.

16.09.2023 в 06:11, buslikdrev сказал:

Для кода скриптов нет.

Интересно зачем это для кода скриптов если он все равно будет выполнятся тогда когда выбрано в меню, ну да ладно.
 

16.09.2023 в 06:11, buslikdrev сказал:

Возможно многим плевать, вот и не спрашивают или вы не замечали таких вопросов. В колонке ссылок id (порядковый номер) не тот, что в ссылке.

либо возможно вы не понимаете смысл этих номеров. Там всего 100 ссылок для быстрого доступа. И номера там от 0 до 99 что бы человеку было легко тестировать.
Он запомнил какой код в ссылке 45 и какой код в ссылки 17 и переклацывает их для проверки границы. Зачем ему там показывать id ссылки 6312220 ?
Человек не лошадь, у лошади большая голова что бы такие цыфры запоминать, а я к клиентам более бережно отношусь.
Ну а если серьезно это уже прям на пустом месте высасывается. Не понимаю зачем вам это.

16.09.2023 в 06:11, buslikdrev сказал:

Смотрится домен рефер и ip, если прокси не указан - донор может затаить обиду и начать теребонькать сайт. Нельзя не открывать - не настроить парсинг тогда.

Вот сюда жмете и настраиваете без открытия iframe

Просто сайт у вас будет доступе в следующей вкладке браузера а не в iframe это же не проблема.
ну и опять же, не я придумал технологию iframe и говорить что это косяк моего модуля ну такое себе, опять же из пальца.

16.09.2023 в 06:11, buslikdrev сказал:

Разве не нужно стремиться к идеалу? Я перечислил аспекты которые бы ускорили знакомство с модулем.

Я вам сразу сказал что мой модуль как раз и пример этого стремления.

Я вам опишу в чем моя притенения сейчас уже к вам. Раз другие доводы вы не услышали я попробую максимально все предоставить понятными образами.
Представьте у вас знакомы который сам строит себе дом. Большой дом в одну каску. Вот он строит и строит, делает ремонт возводит этаж за этажом.
Где то ремонт уже в ноль готов, а где то еше стены в шпаклевке.
И вот вы приходите в такой дом и говорите. Блин я бы тут по другому сделал, а вот это вообще не доделано. А вот тут я бы диван побольше поставил.
Короче дружившие, вот ты строил все это а я пришел и разочаровался.

Ну то есть вы не оценили ни капли проделано работы, а просто пришли так сказать ... А я хочу заметить вы даже не являетесь покупателем модуля.
Я пока что не знаю в чем смысл вашего похода, но поскольку вы решили не писать про аналоги паресеров я предположу что мой самый лучший и это является причиной того что вы пришли сюда. А значит, пожалуйста пишите вашу критику, критика помогает мне развиваться. Даже такае неконструктивная.

Я все равно свои выводы вынесу из данной беседы.

16.09.2023 в 05:02, buslikdrev сказал:

Неудобства модуля
1. Нет для скриптов значения when_do и приходится делать подобные костыли:

Есть вот.
 

16.09.2023 в 05:02, buslikdrev сказал:

Скрипт удобно писать в блокноте - приходится постоянно копировать каждый скрипт или посещать фтп, чтобы пачку скриптов обновить.
Было бы удобно изменить шрифт для поля скрипта на читабельный, чтобы кавычки были видны чётко, добавить возможность отступа по табу, позволить применять скрипты с одинаковым названием под разное действие, но не на одно и тоже, выгрузить во фрейм исходный код модели simplepars.php для быстрого поиска существующих функций, сообщение об успешном сохранении возле кнопки продублировать.

Я и пишу скрипты в полноценном редакторе. Через фтп. Форма в модуле это так что бы поправить какой то параметр. Я честно говоря даже не думал писать какой то редактор для написания сриптов. Тот кто умеет писать сделает это и без встроенного хитро мудрого редактора, а кто не умеет ему и редактор не поможет.

16.09.2023 в 05:02, buslikdrev сказал:

2. Требуется доработка документации и указать ссылки в модуле https://simplepars.top/index.php?page=note&n=8 Конкретно нет информации, что в полях можно применять теги из https://simplepars.top/index.php?page=note&n=9. Также привести название в документации к названиям вкладок в модуле

Нет ничего идеального.
 

16.09.2023 в 05:02, buslikdrev сказал:

3. При разрешении экрана меньше 1920х1080 в OpenCart 3+ многие поля не видно и они кривятся из-за смещения названия.

Да это косяк моего модуля. Тут я даже спорить не буду дизайнер с меня еше тот. Косяк 100%
 

16.09.2023 в 05:02, buslikdrev сказал:

4. В "Настройка парсинга" неудобно, что при посещении ссылки обновляется страница и id загруженной ссылки не указан.

Даже не знаю за чем это может быть нужным. За почти 5 лет никто о таком и близко не спрашивал. Но что бы вам было проше я вам подскажу куда смотреть.
Оп!
 

16.09.2023 в 05:02, buslikdrev сказал:

5. "Сбор ссылок" непонятное поле "Шаблон ссылок очереди" - понятно назвать "Должно быть в ссылках очереди".

А я к примеру всегда путаюсь когда нужно на курс валют посмотреть, и вот одно называется покупка а другое продажа и когда я хочу продать доллары и купить гривны всегда в гугл вбиваю не то значение. У каждого из нас есть слабые места, где вам что то не понятно, а есть и то где мне не понятно. Главное что у основной массы вопросов нет, а значить все хорошо.

16.09.2023 в 05:02, buslikdrev сказал:

6. В описании поля "Пауза" указана единица в секунду - возможности php позволяют указать в миллисекундах. Модуль сохраняет число с запятой, но не понятно - работает ли оно.

не волнуйтесь работает.

16.09.2023 в 05:02, buslikdrev сказал:

7. Нет экcпорт\импорт php-скриптов.

Как и много чего еше не хватает.

16.09.2023 в 05:02, buslikdrev сказал:

8. Фрейм передаёт донору информацию о том, кто его парсит (referer).

Фрейм передает донору информацию о том где открылся сайт в фрейме. А можно его кстати не открывать. Но точно не передает информацию о том кто его парсит.

@buslikdrev Ну в прочем основной наратив я ваш понял. Давайте продолжим эту беседу при условии что в первом же вашем сообщении вы напишите имя модуля парсера, который больше подходит по вашим описаниям, ну тот которому мой уступает. Если нет такого, то не вижу смысла продолжать эту беседу.

Я вам сразу ответил что мой модуль не идеален и он не может быть идеальный для каждого. Я стремлюсь и развиваю его. Сейчас конечно меньше чем раньше. Времена другие мягко говоря. И да я понимаю что мой модуль никогда не будет идеальным для всех, но он развивается и как мне кажется сейчас он ближе к массовому потребителю чем аналоги.

Я тут вспомнил такой пример.
Тесла, электоро кар, шумка говно, зазоры говоно, автопилот не все распознает, Илон Маск тоже говно, но если покупать электро кар то только Теcлу, говно говном ну лучего электрокара пока несушествует.

12.09.2023 в 08:14, JeezyWood сказал:

А планируется ли выпуск версии с выводом товаров как в v0.9_alpha, но с функциями в админке как у новой версии? А то web не сильно удобный. 

Нет от этого подхода я ушел.
Буду скорее развивать эту ветку.

13.09.2023 в 16:19, Trall9 сказал:

Пытался найти в теме, и так же в инструкции но не получилось
sku,model,mnp и прочие обрезаются до 64 символов Location до 128. как можно увеличить эти значения?

Отбой, нашёл. только вот sku и model в бд имеют ограничение 64 символа, location 128, а вот upc,ean,jan,isbn,mpn - 256 можно для этих целей использовать. На всякий случай вдруг кому понадобится в этом файле:

/admin/model/catalog/simplepars.php
$form['isbn'] = substr($this->madeLogicalMathem($form['isbn'], 'str'), 0, 64);


И второй вопрос, можно ли как-то добавить как "идентификатор товара" h1?
Заранее спасибо!

План переносить h1 в одно из полей upc,ean,jan,isbn,mpn и парсить. Но вдруг обойдётся без дополнительных плясок:)

Здравствуйте.
да все верно определили где поправить, так же нужно увеличить количество символов в поле базы данных.

По поводу второго вопроса, вот так прям легко не добавить, Одной строкой кода тут не обойтись.
Так как на идентификаторах товара много чего завязано.

14.09.2023 в 15:04, buslikdrev сказал:

Я опечален работой модуля, думал он реально универсален. Думал можно настроить под любое поле в БД, а в итоге половина функционала по принуждению из того, что есть. Придётся свой создавать, чтобы был. Конечно благо есть написание скриптов, где можно настроить свои поля - но это трата времени и лишение клиента тех. поддержки модуля.

Пока что никто не изобрел кнопку при нажатии которой все будет как надо. В том числе и я.
Главная цель у модуля стремится к этому, чем и занимается.

Обновление v4.9-6_beta

Новый функционал => Парсинг файлов в товар!!!

Давно не было нового функционала, и по этому писать о нем в два раза приятнее.
За этот релиз можно сказать спасибо @mykolakozlov Данный пользователь оплатил разработку скрипта по загрузке файлов в опенкарт.
Так как тз было приближено к общим боевым проектам я решил добить этот вопрос и внедрить этот функционал уже как встроенный.

Так что рекомендую и вам @mykolakozlov обратить внимание на данный релиз, так как начиная с этого релиза будет поддержка нативной загрузки файлов.

Как это работает.

Вам нужно составить границу париснга вида.
Ссылка на файл{csvnc}Имя файла{csvnc}Ссылка на файл{csvnc}Имя файла{csvnc}Ссылка на файл{csvnc}Имя файла{csvnc}Ссылка на файл{csvnc}Имя файла

Пример
 

После чего указать эту границу в разделе Парсинг в ИМ => Файлы
И не забыть выбрать добавлять при создании товара, или При обновлении товара, так как по умолчанию работа с файлами отключена, да бы не тратить на это время.
 

Если в общих чертах то это все что вам нужно что бы загрузить файлы в товары, все остальное модуль сделает за вас.

Подробности нюансы.
Вы можете так же задать директорию куда именно грузить файлы.
По умолчанию это та же директория куда грузить сам опенкарт, но я добавил от себя под директорию product что бы отделить файлы для товаров от чего то другого.
/system/storage/download/product

так же обратите внимание что в поле директория можно указывать границы парсинга и оператор {rand} и все это будет работать по аналогии.
То есть вы можете создавать директории для хранения файлов хоть на категорию хоть на отдельный товар, то есть как обычно максимально универсальное решение для хранения ваших файлов.

Пред просмотр.
В пред просмотре вы всегда сможете посмотреть информацию о файлах что будут скачаны.
 

Так же отдельное внимание всегда должно быть приковоно к отладочной информации по парсингу файлов.
Она находится на странице пред просмотра только ниже
 

Здесь вы всегда увидите ссылки и название файлов. То есть проверить правильность составленных данных.

Логи.

В логах вы всегда увидите информацию о том какие файлы спарсились какие нет и все ответы серверов.
 

Особенности!!!

Понятное дело что я не волшебник и сломать законы физики или настройки вашего веб сервера я не могу, по этому нужно учитывать следующие.
Файлы могут весить много, и грузится они могут долго. По этому в модуле установлено ограничение на время загрузки.

Все файлы должны успевать загрузится за 20 секунд.
Объясняю почему так.
Время выполнения скриптов на хостингах по дефолту установлено в 30 сек, и весь цикл загрузки товара должен завершатся за этот период.
В это время входит ожидание ответа сервера на загрузку страницы, обработка вседанных что вы загрузили, создание товара обнвление, по путно проверку и создание всего того что вы указали в товаре, загрузка фото товара, а их может быть десять и двадцать, и непосредственно загрузка файлов.
И что бы модуль не зависал и за ограничение времени выполнения скрипта на хостинге в момент когда он ждет полную передачу файла большого обьемя, я установил это ограничение.

Но есть и хорошие новости модуль будет грузить файлы в много потоке по 10 файлов за раз. Это ускорит максимально парсинг, но ни как не поможет если у вашего товара будет архив размером в 100мб 

Сразу отвечу.
Увеличить время ожидания загрузки можно, и подскажу как кому это будет нужно, и когда это будет актуально.
Не хватает времени или хотите ускорить парсинг с файлами ? Вам не ко мне а к вашему хостеру, там можно поднять время выполнения скриптов или увеличить пропускную способность интернет канала что бы все загружалось в доли секунд. (Если интернет канал донора широкий, в чем я сомневаюсь. )
 

При обновлении!!!

Если у вас есть психическое отклонение под названием мания обновления и вы считаете что файлы в товарах обновляются каждый день:
(а поверте мне таких 50% , люди которые каждый день обновляют изображение товара. Они же будут и обновлять файлы.)
Помните!!
При обновлении нужно выбрать пункт обновлять товары с ФИЗИЧЕСКИМ УДАЛЕНИЕМ !!!! Это поможет вам не забить дисковое пространство на хостинге за 2-3 дня.
А так же помните парсинг файлов, замедляет процесс парсинга очень сильно, так как загрузка файлов на диск это время которое мы не можетм ускорить, и подумайте 100 раз прежде чем включить обновление файлов при обновлении товара.
При физическом удалении модуль будет удалять файлы которые привязаны к товару которые обновляется. И загружать заново.

При обновлении не забываем выполнить ./inst.php и поставить лайк кому это было нужно, оставить отзыв на модуль

10.09.2023 в 05:35, VladStel сказал:

создал новую настройку , добавил сразу полей в парсинг в CSV, потом заполнил настройки парсинга и снова нет возможности добавить поле

Скиньте доступ к админке и фтп в личные сообщения, сегодня попробую посмотреть.
Изь всего могу предположить какой то спец символ в имени границы париснга. К примеру апостроф, или \ Двойные ковычки.
Что то такое может ломать работу js , но что это точно смогу сказать только после того как посмотрю.

Ну тогда и я оставлю тут в качестве рекламы.

08.09.2023 в 08:47, btaurus сказал:

Доброго дня еще раз!
Столкнулся на другом сайте с такой проблемой: в браузере открываю страницу- получаю 30 товаров. Загружаю парсером - только 20 товаров. Как будто в браузере пагинация срабатывает. 

Как с этим бороться?

Попробовать найти в коде страницы ссылку которая содержит слово page
и попробовать прогрузить такую ссылку через модуль. Если page=2 даст вам другие товары, тогда собрать или генерировать все страницы пагинации.
Если пагинация работает исключительно через js тогда собирать все ссылки через карту сайта. Так как модуль не может обработать js код.