[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

Так получилось что должен был срочно уехать по семейным в село. А с интернетом засада. Так что пишите вопросы в ветку модуля. Или Kiyoshi он по Мери возможности будет отвечать до моего возвращения.

ВНИМАНИЕ КОМУ ВАЖНА ПОДДЕРЖКА В МОДУЛЕ ПОПРОШУ ВОЗДЕРЖАТСЯ ОТ ПОКУПКИ . ПОСКОЛЬКУ МЕНЯ НЕ БУДЕТ ПАРУ ДНЕЙ.

Отправлено с моего Pixel через Tapatalk

[Alexcctv]

11 часов назад, Kiyoshi сказал:

Автор модуля пару дней не будет, если вопрос сбором опций ещё актуален могу рассмотреть настройки после 17:00.

Добрый вечер, подскажите как парсить товары не парся производителей, а то получается парситься все производители и создается категория Производители/ dior
а должно быть Dior/подкатегория)
 

[Alexcctv]

вот такого плана создается дерево категорий 

Производитель  / Louis Vuitton Кроссовки / Louis Vuitton Archlight Blue/Black

Как обойти есть вариант? Парсю с опенкарта, много дублированного товара выходит что очень мешает, да и товара больше 2 тысяч

Змінено 10 жовтня 2019 користувачем Alexcctv

[Kiyoshi]

Скинте настройки в ЛС я посмотрю.

[ewrwr]

Вечер добрый! может кто поделиться готовыми настройками какого нибудь донора, ну что бы быстрее разобраться в принципе работы парсера?

[Kiyoshi]

Перед этим лучше всего почитать wiki и заметки потому, что всё самое интересное начинается поле задания границ парсинга. Также для ознакомления можете посмотреть

 

[Alexcctv]

13 часов назад, Kiyoshi сказал:

Перед этим лучше всего почитать wiki и заметки потому, что всё самое интересное начинается поле задания границ парсинга. Также для ознакомления можете посмотреть

 

В моем случае даже альтернативный не подходит, каждую категорию собираешь ссылки потом парсишь, почему нельзя сделать общий сбор ссылок и с задаными границами собрать ссылки к примеру именно на товары? ПРобовал но парсер не дал так сделать

[Rassol2]

9 часов назад, Alexcctv сказал:

почему нельзя сделать общий сбор ссылок и с задаными границами собрать ссылки к примеру именно на товары? ПРобовал но парсер не дал так сделать

Предложите как и я сделаю.
Вот ссылки.
http://мойсайт.ru/ssilka1

http://мойсайт.ru/ssilka2

http://мойсайт.ru/ssilka3

http://мойсайт.ru/ssilka4

 

как определить модулю не заходя внутрь какая из ссылок на товар ?

Никак только анализировать саму ссылку и делай выводы по структуре ссылки.
Фильтры ссылок и созданы для указания параметров где ссылка на товар, а где на категорию.
Если ссылка на товар и категорию не имеют уникальных якорей, тогда для сбора ссылок применяется альтернативный метод.

И чисто технически по другому это сделать невозможно.
Если я не прав тогда поправьте меня и распишите ваше виденье как это можно реализовать. И я это реализую.

Вопрос в том, как определить гед ссылка на товар а где ссылка на категорию. Не открывая их ?

http://мойсайт.ru/ssilka1

http://мойсайт.ru/ssilka2

Буду рад услышать ваша решение этой задачи.

 

[Rassol2]

Еше раз хотел бы сообщить.
Я сейчас не имею доступа в интернет. Временами есть на скорость edge и кому либо ответить довольно сложно.
Как только я вернуть в современный мир я обязательно отпишусь.

 

[stas2010]

В 08.10.2019 в 09:52, Rassol2 сказал:

В парсинге в csv никак.
поскольку модуль берет одну ссылку и раскладывает все по колонкам. Затем берет следующие. И когда модуль раскладывает первую он не знает сколько будет фото во второй третей и так далее.

немного смекалки и всё будет ОК. 

для решения такой проблем в таблицу в колонки, которые идут первыми вносятся статические данные, т.е. те, которые имеют одно значение, а после них в конце вставляем динамические с разделителями - те же картинки. тогда сдвигов не будет для статических данных. 

еще как решение - при создании таблицы заранее зарезервировать 5-15 колонок под те же фото, а статические данные вносить после. в этом случае тоже сдвига не будет.

однако, если с фото как-то понятно - их чаще всего более 15 не размещают, то вот с атрибутами сложнее - их не вычислить изначально на товарах с больших количеством характеристик. тогда, как писал выше, решение такое - создаем сначала колонки со статическими данными, затем в таблице резервируем колонок 15 под картинки, затем добавляем в конце атрибуты. получится опять таблица, в которой всё в порядке с месторасположением данных.

[mrmonak]

Кто то смог сам разобраться в настройке данного парсера? есть задача спарсить каталог товаров около 5000.
Периодически обновлять цены и добавлять новые товары, у старых только новую цену обновлять.
Как со структурой каталога, как у донора точно такую же можем создать?
Можем ли парсить только определенные категории, не все?
 

[Axelenz]

В 08.10.2019 в 12:42, Rassol2 сказал:

нет резервирования колонок нету.

 

для границы ничего не выделяем.
По сути процесс парсинга и записи в эксель файл не звисимы.
В момент парсинга модуль не занает для чего он парсить, для магазина или для csv он просто парсить границы преобразует по вашим правилам поиск замена и отдает тому кто попросил. Затем данные приходят в csv.
В настройках csv тоже по сути нету привязки к данным что парсятся. Можно и вручную указать все, без единой границы.
или загнать в одну колонку все границы.


В форматировании csv есть только два понятия.
{csvnc} - модуль встретил это слово, передвинулся на одну колонку вправо.
{csvnl} - модуль встретил это слово, передвинулся на одну строку вниз.

Ну и по умолчанию новая ссылка передвигает каретку на одну строку ниже.

Ограничить модуль на определенное количество колонок можно, но с оговорками.
1. Только в повторяющихся границах парсинга.
2. Ограничить по верхнему числу.

То есть сейчас вы можете указать не больше 10 вхождений. Но не можете контролировать минимальное, потому что если нету совпадения на странице значит его нету.

Ограничить обычную границу парсинга на количество колонок невозможно. Потому что в поиск замене можно подсунуть любое количество {csvnc}

Сейчас все работает примерно так как я описал.

 

Я всё же смею предложить Вам некое решение для расширения (как мне кажется) возможностей парсера.

Вот сейчас имеем одну вкладку "Настройки парсинга", но при этом две вкладки "CSV/Парсинг" и "Парсинг в ИМ". Так почему же не сделать и две вкладки: "Настройки парсинга для прайса" и "Настройки парсинга для ИМ" соответственно ? Пусть границы которые попадают в одну из этих вкладок отображаются сразу же и во второй, но... но пусть во вкладке "Настройки парсинга для прайса" будут те полезные дополнения, которые, например, не нужны для ИМ, но весьма необходимы для создания готового прайса (где уже не нужно будет прайс дорабатывать драчевым напильником в Excel и пр.) и наоборот... Всего одна вкладка, но она позволит и сохранить "универсальность" парсера и будет намного удобнее и для тех, кому необходимо вносить данные в ИМ и для тех, кто занимается парсингом для других и кому интереснее получать готовые прайсы...

Может стоит побороться за звание "самый лучший парсер всех времён и народов" ? )))

Змінено 14 жовтня 2019 користувачем Axelenz

[Rassol2]

@Axelenz
 

Цитата

Я всё же смею предложить Вам некое решение для расширения (как мне кажется) возможностей парсера.

Вот сейчас имеем одну вкладку "Настройки парсинга", но при этом две вкладки "CSV/Парсинг" и "Парсинг в ИМ". Так почему же не сделать и две вкладки: "Настройки парсинга для прайса" и "Настройки парсинга для ИМ" соответственно ? Пусть границы которые попадают в одну из этих вкладок отображаются сразу же и во второй, но... но пусть во вкладке "Настройки парсинга для прайса" будут те полезные дополнения, которые, например, не нужны для ИМ, но весьма необходимы для создания готового прайса (где уже не нужно будет прайс дорабатывать драчевым напильником в Excel и пр.) и наоборот... Всего одна вкладка, но она позволит и сохранить "универсальность" парсера и будет намного удобнее и для тех, кому необходимо вносить данные в ИМ и для тех, кто занимается парсингом для других и кому интереснее получать готовые прайсы...

Может стоит побороться за звание "самый лучший парсер всех времён и народов" ? )))

Я согласен.
Но давайте разберемся. Что вы хотите видеть в этих вкладках ? Для чего они нужны ?

Сейчас система такая одна вкладка где парсим. И две вкладки для применения того что парсим.

Если считаете нужно создавать две отдельные вкладки тогда нужно определить что в данной системе не так. И что нельзя реализовать в данной системе. И уже тогда нужно искать ращения.

Вопрос с сдвигом колонок ни как не касается вкладок и настроек. По сути.
Сам вопрос в том что при парсинге 1000 ссылок мы же не не можем сразу узнать сколько максимальное количество атрибутов будет. Что бы зарезервировать под них колонки.
Сколько будет доп фото и других элементов.

После парсинга все записывается в файл. Можно подойти по другому. Сделать парсинг в файл с предварительной записью в базу данных. После окончания парсинга что бы была кнопка записать в файл. И вот тогда можно будет модулем дернуть с базу данных все что спарсили посчитать максимальное количество колонок и построить парсильный прайс.

Наверное в данном случаи это единственное решение. После возвращение к работе буду думать и реализовывать.

 

Цитата

Может стоит побороться за звание "самый лучший парсер всех времён и народов" ? ))) 

А кто сейчас на этом троне ? Хочу знать своего соперника в лицо !

 

@mrmonak

Цитата

Кто то смог сам разобраться в настройке данного парсера? есть задача спарсить каталог товаров около 5000.
Периодически обновлять цены и добавлять новые товары, у старых только новую цену обновлять.
Как со структурой каталога, как у донора точно такую же можем создать?
Можем ли парсить только определенные категории, не все?

Я ориентировочна вернуть с глуши в Субботу
А пока что можете обратится к https://opencartforum.com/profile/670863-kiyoshi/

[Axelenz]

4 часа назад, Rassol2 сказал:

Сделать парсинг в файл с предварительной записью в базу данных. После окончания парсинга что бы была кнопка записать в файл. И вот тогда можно будет модулем дернуть с базу данных все что спарсили посчитать максимальное количество колонок и построить парсильный прайс. 

 

Можно и так, спарсить рандомную выборку указанного количества (или по умолчанию % от всех) ссылок и вывести рекомендуемое количество выделенных столбцов под данные. Но мне кажется, что это слишком избыточно будет... тот, кто реально парсит (и дружит с логикой и головой) уже предполагает заранее, чего и сколько ему необходимо для работы... Как правило, никому не нужны 15 категорий или 35 фотографий в карточке...

А с атрибутами и заморачиваться нет смысла... их конечно же на правый край... только на край... Да и в справке по модулю сразу об этом написать, хотя бы в виде рекомендации с упрощённым пояснением почему нужно так делать...

Змінено 14 жовтня 2019 користувачем Axelenz

[ilyer]

Добрый день. Стояла старая версия, пработала, обновил, и ссылки не собираются инфо о количестве не добавляется, пустой ползунок. Тему гуглил, переустанавливал, кэш чистил

Змінено 14 жовтня 2019 користувачем ilyer

[Rassol2]

@ilyer
 

7 минут назад, ilyer сказал:

Добрый день. Стояла старая версия, пработала, обновил, и ссылки не собираются инфо о количестве не добавляется, пустой ползунок. Тему гуглил, переустанавливал, кэш чистил

а вы выполнили inst.php ?
Можете открыть f12 и в разделе консоль посмотреть есть ли сообщение про ошибку после нажатия на старт.
 

 

 

[Onay]

Может ли данный модуль загружать характеристики из других сайтов?

[Rassol2]

Может ли данный модуль загружать характеристики из других сайтов?

Здравствуйте.
Да может.

Отправлено с моего Pixel через Tapatalk

[rozario888]

В 16.10.2019 в 10:02, Rassol2 сказал:

Здравствуйте.

 

приветствую. собирал ссылки, парсинг закончился, нажал обновить и сайт лег. что делать? 

 

Не удается получить доступ к сайту

Превышено время ожидания ответа от сайта

[rozario888]

Раздуплился. Походу нагрузку не выдержал

[Kiyoshi]

4 часа назад, rozario888 сказал:

Раздуплился. Походу нагрузку не выдержал

Попробуйте с таймаутом в пять секунд, этого должно быть достаточно.

[ilyer]

В 14.10.2019 в 23:30, Rassol2 сказал:

@ilyer
 

а вы выполнили inst.php ?
Можете открыть f12 и в разделе консоль посмотреть есть ли сообщение про ошибку после нажатия на старт.
 

 

 

/admin/index.php?route=catalog/simplepars/parsajax&token=PCF0zGZjHXWKGAZCdvzyytm0dUzG6n58&who=grab&dn_id=1 500
send @ jquery-2.1.1.min.js:4
ajax @ jquery-2.1.1.min.js:4
ajaxpars @ index.php?route=catalog/simplepars/grab&token=PCF0zGZjHXWKGAZCdvzyytm0dUzG6n58&dn_id=1:729
(anonymous) @ index.php?route=catalog/simplepars/grab&token=PCF0zGZjHXWKGAZCdvzyytm0dUzG6n58&dn_id=1:724
dispatch @ jquery-2.1.1.min.js:3
r.handle @ jquery-2.1.1.min.js:3

 

да, ошибка 500

[Rassol2]

6 часов назад, rozario888 сказал:

 

приветствую. собирал ссылки, парсинг закончился, нажал обновить и сайт лег. что делать? 

 

Не удается получить доступ к сайту

Превышено время ожидания ответа от сайта

 

5 часов назад, rozario888 сказал:

Раздуплился. Походу нагрузку не выдержал

похоже на то что у вас собралось очень много ссылок. И сайт не смог отдать весь список ссылок.
В таком случаи стоит поставить ограничение на количество выводимых ссылок примерно в 1000.
Это как правило может обработать любой хостинг.

[Rassol2]

1 час назад, ilyer сказал:

/admin/index.php?route=catalog/simplepars/parsajax&token=PCF0zGZjHXWKGAZCdvzyytm0dUzG6n58&who=grab&dn_id=1 500
send @ jquery-2.1.1.min.js:4
ajax @ jquery-2.1.1.min.js:4
ajaxpars @ index.php?route=catalog/simplepars/grab&token=PCF0zGZjHXWKGAZCdvzyytm0dUzG6n58&dn_id=1:729
(anonymous) @ index.php?route=catalog/simplepars/grab&token=PCF0zGZjHXWKGAZCdvzyytm0dUzG6n58&dn_id=1:724
dispatch @ jquery-2.1.1.min.js:3
r.handle @ jquery-2.1.1.min.js:3

 

да, ошибка 500

если есть возможность напишите в личку логин и пароль от админки. И фтп доступ.
как появится возможность я попробую все проверить и помочь.

[Stin]

Есть вопрос.

Как я понял, модуль собирает все ссылки с определенной страницы, а у донора стоит модуль "Аналоги" или "Похожие товары". Как отсечь их, и заставить собирать ссылки на товары только в категориях? Что то я затупился.