[Поддержка] SimplePars - Универсальный парсер для ИМ

[funnylife]

17.02.2023 в 19:16, Axelenz сказал:

Я согласен, что Вы идёте медом компромисса и учитываете пожелания большинства. При этом Вы сами понимаете, что ценность товара на сайте, который имеет идеально обновляемые количество и цену с донора, но при этом не имеет Описания и Фото практически нулевая...

Всё чаще люди просят парсить Описание только как временное, с дальнейшим замещением его своим уникальным Описанием и чтобы оно потом не затёрлось при обновлении...

Сказать что это мои пожелания... я всего лишь исполнитель, который решает задачи, поставленные Заказчиками...

Сейчас это проблема номер 1 и из-за сложного решения проэкты тормозятся. 

[Rassol2]

17.02.2023 в 14:15, funnylife сказал:

Сейчас это проблема номер 1 и из-за сложного решения проэкты тормозятся. 

Ну раз вас прям много проектов тормозится могу подсказать решение проблемы через, подстановку якоря в описание и вырезание ненужного.

Делаете вот такую настройку.

Скрытый текст

А потом через редактор товара можно отфильтровать товары и там где уже было описание вырезать новое.
А где не было оставить через поиск замену.

На один шаг больше но регает задачу и больше ваши проекты не тормозят.

Но если всем нужно это вы не стесняйтесь используйте описанный вариант и попутно пишите что вам это нужно, и я сделаю. Только подсоберем нуждающихся.

[partshez]

17.02.2023 в 14:45, Axelenz сказал:

@Rassol2

Иногда очень не хватает в этой панели выбора, чтобы выполнить что-то с товарами, которые находятся только В ЭТОМ ПРОЕКТЕ.

Особенно это актуально для мультиязычных магазинов, а таких сейчас очень много... и когда дополнительно применяется ручное изменение Описания и пр.

Возможно это реализовать в следующих версиях модуля ? Если нет, то можно попросить работающий скрипт, который будет давать такую возможность, работать с товарами только ЭТОГО ПРОЕКТА ? Т.е. если обновлять товары по SKU, то обновлять только те, что в ЭТОМ проекте и не обновлять товары, которые находятся в других проектах, не смотря на совпадение по SKU...

Благодарю за ответ.

Прочел все посты. И свои пять копеек вставить хочу.

Да, модуль уже умеет очень многое делать. Но хочется еще больше, как всегда. 

17.02.2023 в 17:46, Rassol2 сказал:

Единственное место где этот подход реализован это оценка цены перед обновлением.

Это был прорыв в функционале модуля

17.02.2023 в 16:52, Axelenz сказал:

Понимаю, что идеального ничего нет... И тот вариант, который я предложил так же далёк от идеального. Например вариант, когда в новых товарах сразу не заполняют Описание, а Описание может появиться через ЛЮБОЙ промежуток времени... Тогда необходима проверка по всем имеющимся товарам с донора, чтобы заполнить пустые места в description...

Вот если бы в Парсинге в ИМ, в Описании, При обновлении можно было сделать выбор:

Заполнить Описание, если его нет - было бы просто замечательно )))

 Такие задачи решать модулем очень бы хотелось.

 

Предложение автору. Можно создать отдельную версию модуля не для всех пользователей. Часть функционала обычным пользователям не будет интересна и сложна в настройке. А создать версию для тех, кто постоянно работает с Вашим модулем. В ней вводить доп функционал и разные плюшки. Типа, есть версия для обычных пользователей. И есть углубленная, сложная версия для желающих использовать возможности модуля на 80-м уровне, как говорится. Если будет необходимость, я готов эту отдельную версию купить, к примеру. Чтобы автору был стимул для разработки. 

17.02.2023 в 14:45, Axelenz сказал:

Если нет, то можно попросить работающий скрипт, который будет давать такую возможность

Как вариант, можно давать заинтересованным людям, постоянно работающим с Вашим проектом дополнительные скрипты. Уже не один раз такое Вы делали. 

 

Т.е., уже зная способности автора, хочется увидеть дальнейшее развитие модуля Симплпарс. 

Змінено 18 лютого 2023 користувачем partshez

[Rassol2]

18.02.2023 в 08:02, partshez сказал:

Такие задачи решать модулем очень бы хотелось.

 

Предложение автору. Можно создать отдельную версию модуля не для всех пользователей. Часть функционала обычным пользователям не будет интересна и сложна в настройке. А создать версию для тех, кто постоянно работает с Вашим модулем. В ней вводить доп функционал и разные плюшки. Типа, есть версия для обычных пользователей. И есть углубленная, сложная версия для желающих использовать возможности модуля на 80-м уровне, как говорится. Если будет необходимость, я готов эту отдельную версию купить, к примеру. Чтобы автору был стимул для разработки. 

Да могу, и сделать ее по 300$ в месяц по подписке, с минимальным сроком подписки от одного года. Вот собрались все те кто работает с модулем постоянно, оплатили и через месяц у вас будет это функционал. Я даже ради этого спать буду не по 6 часов в день а по 4 но сделаю.
Вы так пишите как будто бы это просто так взять две кнопки нажать и все готово.

 

Если будет спрос будет решение.
Хочу что бы меня все услышали, я не против развивать модуль но я против того что бы хоронить годы жизни на разработку фунции для одного человека. И даже для 10.
Есть золотое правило.
Все что нужно для 95% реализовавшем. Что нужно для 5% закрываем глаза.
Это может вам нравится может нет, но реалии таковы.
Я не закрыт от идей и предложений, мои посты выше на эту тему направлены на то что бы помочь этим 5% несмотря на то что встроенной функции нет. Но пока это не стало массовым явлением это реализовано не будет.
Пример как это правило работало и работает это весь функционала который был сделан в модуле.

[Rassol2]

18.02.2023 в 08:02, partshez сказал:

Т.е., уже зная способности автора, хочется увидеть дальнейшее развитие модуля Симплпарс. 

Есть две глобальных задачи которые будут решены в модуле.
1) Парсинг сайтов с JS , при помоши программы на python , там может прикручу и полную автоматизацию с прокси.
2) Загрузка прайс листов. (как вариант)

Это вот те две задачи которые постоянно всплывают и по хорошему уже требуют решения. Но в нынешней ситуации нет возможности начать реализовать большие проекты. Как все эта жесть в мире закончится и можно будет выдохнуть я приступлю к решению этих задач.

[partshez]

18.02.2023 в 22:00, Rassol2 сказал:

Есть золотое правило.
Все что нужно для 95% реализовавшем. Что нужно для 5% закрываем глаза.

Правило зачетное

18.02.2023 в 22:03, Rassol2 сказал:

Есть две глобальных задачи которые будут решены в модуле.
1) Парсинг сайтов с JS , при помоши программы на python , там может прикручу и полную автоматизацию с прокси.
2) Загрузка прайс листов. (как вариант)

Второй пункт на данный момент решается другими программами

Первый пункт действительно очень нужный. Ждем и не жужжим 😀

[partshez]

Пообщался с ЧатБотом https://prnt.sc/-5pyg0XUNI5I про модуль Симплпарс 

Уже доступна регистрация в Украине https://chat.openai.com/

[SellR]

Добрый день

если на сайте доноре фото товара на одной странице, а его тех описание на другой. ссылка находится рядом с фото

тоесть парсеру нужно отпарсить название, фото, клинуть на тех описание, открыть страницу и отпарсить данные. такое сможет парсер?

[partshez]

20.02.2023 в 11:34, SellR сказал:

Добрый день

если на сайте доноре фото товара на одной странице, а его тех описание на другой.

Нужно парсить каждый товар по двум ссылкам. Основная ссылка и ссылка с нужным описанием. Или создаете два проекта. В одном основные ссылки, во втором дополнительные. И обрабатываете проекты последовательно. Или в одном проекте в Ссылки на товар вставляете по две ссылки на каждый товар. И создаете правильные настройки на вкладке Парсинг в ИМ

Змінено 20 лютого 2023 користувачем partshez

[SellR]

ссылок много

можно ли указать категорию и парсер сам бы находил сслыки на товар брал оттдуа фото и название, далее нажимал ссылку характеристик и все в одну карточку товара добалял. все это по крону автоматом запустить

[Rassol2]

20.02.2023 в 04:31, SellR сказал:

ссылок много

можно ли указать категорию и парсер сам бы находил сслыки на товар брал оттдуа фото и название, далее нажимал ссылку характеристик и все в одну карточку товара добалял. все это по крону автоматом запустить

Если это ссылка как ссылка а не просто вывод информации которые есть в коде страницы при первом заходе. То нет такое нельзя реализовать.

[SellR]

есть ли помощь в настройке парсера? куда можно обратиться с сайтом и парсером. Есть ли услуга настройки парсера? сколько это стоит?

[partshez]

20.02.2023 в 15:03, SellR сказал:

есть ли помощь в настройке парсера? куда можно обратиться с сайтом и парсером. Есть ли услуга настройки парсера? сколько это стоит?

Пишите в личку

[partshez]

20.02.2023 в 12:31, SellR сказал:

ссылок много

можно ли указать категорию и парсер сам бы находил сслыки на товар брал оттдуа фото и название, далее нажимал ссылку характеристик и все в одну карточку товара добалял. все это по крону автоматом запустить

Можно настроить два проекта, как я писал выше, и запустить работу по крон

[SellR]

ок, еще вопрос может ли парсер переводить текст через переводчики онлайн и вставлять переведенный текст 

Змінено 20 лютого 2023 користувачем SellR

[Rassol2]

20.02.2023 в 07:17, SellR сказал:

ок, еще вопрос может ли парсер переводить текст через переводчики онлайн и вставлять переведенный текст 

Парсер это парсер, наверное стоит поискать модуль который будет переводить информацию в товаре уже после париснга.
Я представляю сколько займет времени парсинг 1000 товаров где каждый эелемент будет запрашивать у третей стороны перевод и ждать его.

Я все ближе и ближе к тому что бы написать модуль который будет производить перевод по содержимого интернет магазина через апи. А то это становится актуально.
Кто бы мне 24 часа в сутках превратил в 48.

[partshez]

20.02.2023 в 15:03, SellR сказал:

есть ли помощь в настройке парсера? куда можно обратиться с сайтом и парсером. Есть ли услуга настройки парсера? сколько это стоит?

Китайский сайт. Под скриптами часть информации

Змінено 20 лютого 2023 користувачем partshez

[yurok79]

Подскажите можно ли увеличить количество потоков например до 10 при работе с xml, ресурсы сервера позволяют. Сейчас обновление очень долго идет(

Змінено 23 лютого 2023 користувачем yurok79

[Rassol2]

23.02.2023 в 14:35, yurok79 сказал:

Подскажите можно ли увеличить количество потоков например до 10 при работе с xml, ресурсы сервера позволяют. Сейчас обновление очень долго идет(

Можно, но как показывает практика увеличение скорости не происходит.
Не забывайте что веб сервера тоже есть ограничение на одновременную отдачу данных.

Если у вас вторая версия движка.

Открываете файл.
/admin/view/template/catalog/simplepars_productsetup.tpl
Находите строку

Скрытый текст

Удаляете выделенные символы и у вас при парсинге в ИМ появляются 10 потоков.
От себя добавляю, не несу ответственности за то что будет дальше, блокировки от донора, большие нагрузки на хостинг. Вот это все меня не интересует если вы разблокируете потоки.

[partshez]

23.02.2023 в 22:35, yurok79 сказал:

Подскажите можно ли увеличить количество потоков например до 10 при работе с xml, ресурсы сервера позволяют. Сейчас обновление очень долго идет(

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?page=431

[nikoshot]

Может кто то знает.. что то в теме не нашел как создать скрипт для кастомного поля..

Есть пример?

[Rassol2]

25.02.2023 в 11:50, nikoshot сказал:

Может кто то знает.. что то в теме не нашел как создать скрипт для кастомного поля..

Есть пример?

Здравствуйте.
А вы владеете php ?

[Rassol2]

25.02.2023 в 11:50, nikoshot сказал:

Может кто то знает.. что то в теме не нашел как создать скрипт для кастомного поля..

Есть пример?

Если вы владеете php то вот так можно делать запросы в базу данных.
$query = $this->db->query("Здесь ваш SQL запрос");

Это стандартный запрос для архитектуры опенкарт.
А вот тут описаны все массивы которыми оперирует мой модуль, так же там написано в каком массиве лежат границы парсига.
https://simplepars.top/index.php?page=note&n=48

 

Так же в ветке модуля есть есть примеры других скриптов.
 

[bodyak0]

В 26.02.2023 в 04:25, Rassol2 сказав:

Если вы владеете php то вот так можно делать запросы в базу данных.
$query = $this->db->query("Здесь ваш SQL запрос");

Это стандартный запрос для архитектуры опенкарт.
А вот тут описаны все массивы которыми оперирует мой модуль, так же там написано в каком массиве лежат границы парсига.
https://simplepars.top/index.php?page=note&n=48

 

Так же в ветке модуля есть есть примеры других скриптов.
 

Добрый день, столкнулся с такой непоняткой.Вот естьпром. Я настроил все работало 1 день, сегодня не работает выдает защиту от робота. Не могу ничего сделать, скажем так блок по Ip. Но я беру открываю карту сайта беру ссылки на товар и настраиваю себе выгрузку через AnyCsv и он вытягивает данные без каких либо проблем, как тут быть?Мне просто цены нужно с фронта брать, а выгрузка не подходит так как она до ужаса не соотвествует требованиям. Я получается в связке , через Anycsv добавляю товар со структурой , дальше прохожу парсером. Но у вы сегодня не пошло как то)Может есть какое то решение в будущем подтверждения капчи или что то в этом духе. 

[Axelenz]

28.02.2023 в 15:36, bodyak0 сказал:

Я настроил все работало 1 день, сегодня не работает выдает защиту от робота.

Всё зависит от того, насколько Вы "в лоб" взялись парсить донора... Маркетплейсы и разные площадки не любят, когда их парсят и всячески этому мешают, о чём неоднократно писалось на этом форуме... Вы не сообщили, какое количество товаров, но можно предположить по тому, что забанили, что их тысячи... и парсили наверное в 5 потоков и рандомные задержки не выставляли ?