[Поддержка] SimplePars - Універсальний парсер для ІМ

[ruvenum]

пусто
просто зависает на  проверке и не реагирует на кнопку остановки

[partshez]

08.01.2025 в 12:24, ruvenum сказал:

пусто
просто зависает на  проверке и не реагирует на кнопку остановки

Выставьте Использовать полный список. И попробуйте работать без проверки

[ruvenum]

пробовал на 2х сайтах не получается
и после сохранения список прокси исчезает

[Rassol2]

08.01.2025 в 10:22, ruvenum сказал:

пробовал на 2х сайтах не получается
и после сохранения список прокси исчезает

Значит что то у вас не так на сайте, напишите мне в личные сообщения где вы приобретали модуль и номер заказа. Так как вас нет в списке покупателей модуля на данной площадке.
И я по мере свободного времени посмотрю что у вас.

[yurok79]

Подскажите регулярку чтобы все буквы кроме первой из заглавных сделать строчными.

[Rassol2]

10.01.2025 в 01:08, yurok79 сказал:

Подскажите регулярку чтобы все буквы кроме первой из заглавных сделать строчными.

Половина победы зависит от грамотно заданного вопроса.
Но мне кажется ответ на этот вопрос есть давно вот здесь.
Если нет пишите еше раз
https://simplepars.top/index.php?page=note&n=43

[yurok79]

А такой вопрос. Образно есть 150 000 ссылок на товары. Через допуск к парсингу по различным параметрам (цена, наличие, бренд) подходит из них 20 000 и они добавляются в магазин. Остальные ссылки каждый раз долбит при обновлении цен и наличия. Можно ли как то организовать удаление ссылок из списка ссылок на товры, если она "не нужная"?

Змінено 10 січня 2025 користувачем yurok79

[partshez]

10.01.2025 в 12:41, yurok79 сказал:

А такой вопрос. Образно есть 150 000 ссылок на товары. Через допуск к парсингу по различным параметрам (цена, наличие, бренд) подходит из них 20 000 и они добавляются в магазин. Остальные ссылки каждый раз долбит при обновлении цен и наличия. Можно ли как то организовать удаление ссылок из списка ссылок на товры, если она "не нужная"?

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?page=515#comment-1816415

Кажется, Вам уже отвечали на этот вопрос

 

[yurok79]

10.01.2025 в 17:48, partshez сказал:

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?page=515#comment-1816415

Кажется, Вам уже отвечали на этот вопрос

 

Кажется разобрался) Спасибо.

И последнее, нужна регулярка чтобы удалить первое слово в названии товара (там бренд). 

Большое всем спасибо за помощь и подсказки.

[Rassol2]

10.01.2025 в 15:26, yurok79 сказал:

Кажется разобрался) Спасибо.

И последнее, нужна регулярка чтобы удалить первое слово в названии товара (там бренд). 

Большое всем спасибо за помощь и подсказки.

{reg[#^\S+#]}|

[Aspirinnka1]

Всем привет. Давно меня тут не было, но столкнулся с вопросиком. 

Сайт manar.by поменял свою структуру и перестали обновляться цены для опций. 

Пример https://manar.by/catalog/krovati/astoriia-as-14802
Они сделали, что каждый размер кровати - это отдельный товар. Ссылка меняется автоматически, когда выбираешь необходимый размер.

 

Скрытый текст

 

Соответсвенно, я не могу спарсить цены на другие опции, т.к. их физически нет в исходном коде товара. 

Какие есть варианты решения? Может кто сталкивался с подобным ?

 

P.S. В категории Кровати есть только товары с минимальным размером (например 140-200), остальных товаров не видно. 

[Aspirinnka1]

Может еще подскажете в чем проблема ? В предпросмотре часто появляется такая ошибка -
Fatal error: Allowed memory size of 268435456 bytes exhausted (tried to allocate 67108872 bytes) in /var/www/tehnodom.by/data/www/tehnodom.by/admin/model/catalog/simplepars.php on line 14508

 

Причем только в проекте по сайту выше (manar.by, который).

И во время самого парсинга тоже странности. По 15 минут может висеть на одном товаре и ничего не происходит. В других проектах проверял - все норм. 1-2 секунды на товар.  (upd: почистил кэш и вроде как проблема с временем ушла)

Змінено 12 січня 2025 користувачем Aspirinnka1

[Axelenz]

12.01.2025 в 19:27, Aspirinnka1 сказал:

Может еще подскажете в чем проблема ? В предпросмотре часто появляется такая ошибка -
Fatal error: Allowed memory size of 268435456 bytes exhausted (tried to allocate 67108872 bytes) in /var/www/tehnodom.by/data/www/tehnodom.by/admin/model/catalog/simplepars.php on line 14508

 

В интернете пробовали искать ответ ?

https://www.ukraine.com.ua/ru/wiki/hosting/sites/errors/allowed-memory-size/

[Aspirinnka1]

12.01.2025 в 20:32, Axelenz сказал:

 

В интернете пробовали искать ответ ?

https://www.ukraine.com.ua/ru/wiki/hosting/sites/errors/allowed-memory-size/

И в самом деле. Спасибо. 

Upd: Стояло 256мб, увеличил до 1024. Честно говоря удивлен, что 256 не хватает на обработку одного товара... 

Змінено 12 січня 2025 користувачем Aspirinnka1

[Rassol2]

12.01.2025 в 05:44, Aspirinnka1 сказал:

Какие есть варианты решения? Может кто сталкивался с подобным ?

Если данных нет в коде товара, то нет такие данные не достать.

[Rassol2]

12.01.2025 в 13:50, Aspirinnka1 сказал:

Upd: Стояло 256мб, увеличил до 1024. Честно говоря удивлен, что 256 не хватает на обработку одного товара... 

Убедитесь что у вас правильно настроены границы парсинга.
К примеру повторяющаяся граница парсинга которая берет с с страницы все что заключено между скобками <>
в таком случаи у вас может быть граница которая содержит тысячи повторений, и это может выедать вашу память.

Аккуратность в настройках границ может помочь в этом вопросе.

[Aspirinnka1]

13.01.2025 в 13:18, Rassol2 сказал:

Убедитесь что у вас правильно настроены границы парсинга.

Тоже вариант. Спасибо за подсказку. Т.к. в других проектах такого нет, то похоже на правду. 

[Aspirinnka1]

Rassol2

Скажите, а в разделе Менеджер ссылок не думали внедрить шаблоны? По аналогии с Редактором товаров?
было бы неплохо, наверное

 

[Rassol2]

19.01.2025 в 13:31, Aspirinnka1 сказал:

Rassol2

Скажите, а в разделе Менеджер ссылок не думали внедрить шаблоны? По аналогии с Редактором товаров?
было бы неплохо, наверное

 

Думал, но пока что разработка модуля остановлена.

[Vip_8]

решил

Змінено 21 січня 2025 користувачем Vip_8

[Temig88]

Здравствуйте, подскажите как при парсинге в CVS сделать парсинг атрибутов в виде Атрибут это название столбца, а значение атрибута строкой ниже. Вот пример парсинга атрибутов:

Цитата

Производитель{csvnc}Intel{csvnc}Код производителя{csvnc}CM8071504821006{csvnc}Линейка{csvnc}Core i5 и т.д.

 Нужно чтобы атрибуты Производитель, Код производителя, Линейка - были названием столбца, а значения Intel, CM8071504821006, Core i5 - были под названием столбцов (ниже строкой). Неужели нужно ручками создавать кучу границ парсинга и при парсинге в CVS вручную вводить название колонок и присваивать каждому границу парсинга?

 

P.S. Производитель{csvnl}Intel{csvnc}Код производителя{csvnl}CM8071504821006{csvnc}Линейка{csvnl}Core i5 не помогает, половина значений так уходит в первый столбец, вся разметка плывет.

Змінено 24 січня 2025 користувачем Temig88

[Flint2000]

В 24.01.2025 в 11:29, Temig88 сказав:

Здравствуйте, подскажите как при парсинге в CVS сделать парсинг атрибутов в виде Атрибут это название столбца, а значение атрибута строкой ниже. Вот пример парсинга атрибутов:

Ctrl+C, Ctrl+V

[Temig88]

24.01.2025 в 16:23, Flint2000 сказал:

Ctrl+C, Ctrl+V

Если это сарказм, то он не уместен. Если нет, то мне нужна автоматизация или я что-то не так понял.

[partshez]

24.01.2025 в 11:29, Temig88 сказал:

 Неужели нужно ручками создавать кучу границ парсинга и при парсинге в CVS вручную вводить название колонок и присваивать каждому границу парсинга?

В Симплпарс другого варианта не знаю. Наверное, только так

[Rassol2]

24.01.2025 в 03:29, Temig88 сказал:

Здравствуйте, подскажите как при парсинге в CVS сделать парсинг атрибутов в виде Атрибут это название столбца, а значение атрибута строкой ниже. Вот пример парсинга атрибутов:

 Нужно чтобы атрибуты Производитель, Код производителя, Линейка - были названием столбца, а значения Intel, CM8071504821006, Core i5 - были под названием столбцов (ниже строкой). Неужели нужно ручками создавать кучу границ парсинга и при парсинге в CVS вручную вводить название колонок и присваивать каждому границу парсинга?

 

P.S. Производитель{csvnl}Intel{csvnc}Код производителя{csvnl}CM8071504821006{csvnc}Линейка{csvnl}Core i5 не помогает, половина значений так уходит в первый столбец, вся разметка плывет.

Нет такой возможности нет.
Модуль создавался для автоматический загрузки данных, в том числе и через АОП а там как раз поддерживается вариант, колонка с названием колонка с значением.
Для того что бы записывать значение в отдельную колонку нужно зарание знать столько и каких атрибутов будет. А этой информации нет пока вы не закончите париснг всех страниц.
Так что это не возможно.

Была идея сделать еше редактор csv и там сделать всякие фунции по работы с таблицами, но как то все не дошло. ...